Môi trường Python cho AI: uv hoặc conda, PyTorch đúng bản CUDA, flash-attention, bitsandbytes

Các bước thực hiện

1. 1Bước 1: Tạo môi trường bằng uv (khuyến nghị)

   Đánh dấu xong

   curl -LsSf https://astral.sh/uv/install.sh | sh
   source ~/.bashrc   # hoặc mở lại terminal để có lệnh uv
   mkdir -p ~/llm-lab && cd ~/llm-lab
   uv venv --python 3.12 .venv
   source .venv/bin/activate
   python --version

   uv tải được cả trình thông dịch Python, cài gói nhanh và tương thích lệnh pip qua uv pip.

2. 2Bước 2: Hoặc dùng conda (Miniforge)

   Đánh dấu xong

   wget https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Linux-x86_64.sh
   bash Miniforge3-Linux-x86_64.sh -b -p $HOME/miniforge3
   $HOME/miniforge3/bin/conda init bash
   source ~/.bashrc
   conda create -n llm python=3.12 -y
   conda activate llm

   Cảnh báo: PyTorch đã ngừng phát hành gói qua kênh conda riêng. Trong môi trường conda, cài PyTorch bằng pip theo lệnh ở bước kế tiếp.

3. 3Bước 3: Cài PyTorch đúng bản CUDA

   Đánh dấu xong

   Mở trang "Get Started" của PyTorch, chọn Linux → Pip → bản CUDA, rồi chép lệnh. Ví dụ với wheel CUDA 12.8:

   # Với uv
   uv pip install torch torchvision --index-url https://download.pytorch.org/whl/cu128
   
   # Với pip trong conda
   pip install torch torchvision --index-url https://download.pytorch.org/whl/cu128

   Mẹo: Chỉ số cu128 là ví dụ. Chọn bản mà driver của bạn hỗ trợ và mà PyTorch đang phát hành — danh sách thay đổi theo từng phiên bản PyTorch.

4. 4Bước 4: Kiểm tra PyTorch nhận GPU

   Đánh dấu xong

   import torch
   
   print("torch", torch.__version__, "| CUDA runtime", torch.version.cuda)
   print("cuda available:", torch.cuda.is_available(), "| GPU:", torch.cuda.device_count())
   for i in range(torch.cuda.device_count()):
       print(i, torch.cuda.get_device_name(i))
   
   x = torch.randn(2048, 2048, device="cuda", dtype=torch.float16)
   print("matmul ok:", (x @ x).float().abs().mean().item())
   print("bf16 supported:", torch.cuda.is_bf16_supported())

   python check_gpu.py

5. 5Bước 5: Cài thư viện huấn luyện LLM

   Đánh dấu xong

   uv pip install transformers accelerate datasets peft trl bitsandbytes sentencepiece
   python -m bitsandbytes

   python -m bitsandbytes in thông tin chẩn đoán, giúp phát hiện sớm việc thư viện không tìm thấy CUDA.

6. 6Bước 6: Cài flash-attention (tuỳ chọn)

   Đánh dấu xong

   FlashAttention-2 yêu cầu GPU đời mới được liệt kê trong README của dự án. Nếu không có wheel dựng sẵn khớp phiên bản, pip sẽ biên dịch từ mã nguồn — cần CUDA Toolkit và mất khá lâu.

   uv pip install ninja packaging wheel
   # Giới hạn số job biên dịch để không cạn RAM
   MAX_JOBS=4 uv pip install flash-attn --no-build-isolation
   python -c "import flash_attn; print(flash_attn.__version__)"

   Lưu ý: Không cài được flash-attn vẫn huấn luyện được: dùng attn_implementation="sdpa" (attention tích hợp sẵn trong PyTorch).

7. 7Bước 7: Ghim phiên bản để tái lập

   Đánh dấu xong

   uv pip freeze > requirements.lock.txt
   # Máy khác, cùng bản Python:
   uv pip install -r requirements.lock.txt --index-url https://download.pytorch.org/whl/cu128 --extra-index-url https://pypi.org/simple

   • Ghi kèm phiên bản driver (nvidia-smi) và hệ điều hành vào README dự án.
   • Không nâng torch, transformers, trl, peft lẻ tẻ giữa chừng một đợt huấn luyện.
   • Với dự án dài hạn, cân nhắc đóng gói thành image Docker (xem bài Docker & GPU).

Kiểm tra thành công

python -c "import torch, transformers, peft, trl; print(torch.cuda.is_available(), torch.version.cuda, transformers.__version__, peft.__version__, trl.__version__)"

Thành công khi dòng đầu in True, bản CUDA runtime không phải None, và các thư viện import không lỗi.

Lỗi thường gặp & cách sửa

python -c "import torch; print(torch.__version__, torch.version.cuda)"
echo "CUDA_VISIBLE_DEVICES=$CUDA_VISIBLE_DEVICES"
nvidia-smi

uv pip uninstall flash-attn
MAX_JOBS=4 uv pip install flash-attn --no-build-isolation --no-cache

Bước tiếp theo

Nguồn chính chủ

Lệnh, tên gói và tham số thay đổi theo phiên bản. Trước khi chạy trên máy thật, hãy kiểm tra phiên bản mới nhất tại trang chính chủ:

• PyTorch — Get Started
• uv — Documentation
• Miniforge (conda-forge)
• FlashAttention — GitHub
• bitsandbytes — Hugging Face docs

Giới hạn của bài

• Chỉ số wheel cu128 và bản Python 3.12 là ví dụ; tổ hợp được hỗ trợ thay đổi theo từng bản phát hành.
• Bài không đề cập GPU AMD (ROCm) hay Apple Silicon.