Mục lục bài
Ba bài toán, ba kiểu phần cứng
Trước khi bàn GPU nào, hãy xác định bạn đang giải bài toán nào. Cùng một mô hình nhưng suy luận (inference), fine-tune và huấn luyện từ đầu đòi hỏi lượng bộ nhớ và băng thông kết nối rất khác nhau.
Quy tắc thô về VRAM (chỉ để định hướng)
Cảnh báo: Đây là QUY TẮC THÔ phổ biến trong cộng đồng, không phải số đo. Con số thực phụ thuộc framework, độ dài ngữ cảnh, batch và định dạng. Muốn ước lượng theo mô hình cụ thể, dùng công cụ tính cấu hình AI.
- Trọng số FP16/BF16: khoảng 2 GB cho mỗi tỷ tham số. INT8: khoảng 1 GB. 4-bit: khoảng 0,5 GB cộng phần phụ trội của định dạng.
- Suy luận cần thêm KV cache — tăng theo độ dài ngữ cảnh × số phiên đồng thời, có thể lớn hơn cả trọng số khi phục vụ nhiều người.
- Fine-tune toàn phần với AdamW và mixed precision thường được ước khoảng 16 byte mỗi tham số (trọng số, gradient, bản FP32 và hai trạng thái Adam), chưa kể activation.
- RAM hệ thống: nhiều đội kỹ thuật lấy mốc tối thiểu bằng tổng VRAM để nạp/chuyển mô hình thoải mái — cũng là quy tắc thô.
Workstation hay máy chủ?
Cảnh báo: Card GPU trung tâm dữ liệu dạng passive (không quạt) phải nằm trong máy chủ có luồng gió cưỡng bức được hãng xác nhận hỗ trợ. Lắp vào thùng máy thường sẽ quá nhiệt và giảm xung.
Các bước thực hiện
Tiến độ chỉ lưu trên trình duyệt này.
Bước 1: Xác định tải: mô hình, ngữ cảnh, người dùng đồng thời
Ghi ra ba thứ: tên mô hình và số tham số, độ dài ngữ cảnh cần thiết, và số phiên đồng thời lúc cao điểm. Không có ba thông số này thì mọi báo giá GPU chỉ là đoán.
Nhập các thông số đó vào công cụ tính cấu hình AI để có khoảng VRAM cần thiết, rồi mới chọn loại GPU.
Bước 2: Chọn GPU và kiểu kết nối giữa các GPU
- Suy luận: ưu tiên tổng VRAM và băng thông bộ nhớ. Huấn luyện nhiều card: ưu tiên thêm kết nối GPU–GPU.
- PCIe: đủ cho suy luận từng card, fine-tune LoRA một card và nhiều bài toán song song dữ liệu nhỏ. Kiểm tra card chạy đúng PCIe x16 và thế hệ PCIe máy chủ hỗ trợ.
- NVLink bridge: chỉ một số dòng card hỗ trợ, nhiều dòng mới đã bỏ — đọc datasheet của đúng mã card.
- SXM + NVSwitch (nền tảng HGX): các GPU nối full-mesh tốc độ cao, phù hợp tensor parallel và huấn luyện mô hình lớn. Cần Fabric Manager (xem bài cài driver & CUDA).
- Kiểm tra GPU hỗ trợ kiểu dữ liệu bạn cần (BF16, FP8…) theo tài liệu hãng — đừng suy đoán từ tên thế hệ.
Bước 3: Chọn CPU, RAM và số làn PCIe
- Số làn PCIe của CPU/bo mạch phải đủ cho tất cả GPU, card mạng và NVMe mà không bị chia băng thông ngoài ý muốn.
- Số nhân CPU đủ cho tiền xử lý dữ liệu (DataLoader, tokenize) — thiếu CPU thì GPU ngồi chờ.
- RAM: xem quy tắc thô ở trên; lắp đủ kênh bộ nhớ theo khuyến nghị của hãng máy chủ. Dùng RAM ECC cho máy chạy dài ngày.
- Máy hai CPU: để ý GPU và card mạng nằm dưới socket nào (NUMA) — kiểm bằng
nvidia-smi topo -msau khi cài driver.
Bước 4: Lưu trữ: NVMe cục bộ và lưu trữ dùng chung
- NVMe cục bộ cho hệ điều hành, cache mô hình, dữ liệu đang huấn luyện và checkpoint gần nhất.
- Checkpoint của mô hình lớn rất nặng — tính dung lượng cho nhiều bản checkpoint và bản sao lưu.
- Cụm nhiều node: cần lưu trữ dùng chung (NFS cho quy mô nhỏ; hệ thống tệp song song như Lustre, BeeGFS, Weka cho quy mô lớn).
- Tách ổ dữ liệu khỏi ổ hệ điều hành để cài lại OS không mất dữ liệu.
Bước 5: Mạng: khi nào cần InfiniBand hoặc RoCE
- Một máy chủ (suy luận hoặc huấn luyện trong một node): Ethernet thông thường cho quản trị và phục vụ API; GPU trao đổi qua PCIe/NVLink bên trong máy.
- Huấn luyện nhiều node: gradient đồng bộ liên tục qua mạng — cần mạng RDMA (InfiniBand, hoặc RoCE trên Ethernet cấu hình lossless) băng thông cao, độ trễ thấp.
- RoCE đòi hỏi switch và cấu hình PFC/ECN đúng; InfiniBand cần hạ tầng switch riêng và đội vận hành quen công nghệ.
- Luôn tách mạng quản trị (BMC), mạng lưu trữ và mạng tính toán.
Bước 6: Tính điện, làm mát và phòng máy
- Cộng TDP GPU (theo datasheet) + CPU + các thành phần khác, cộng hệ số dự phòng; kiểm tra cấu hình nguồn dự phòng (N+1) của máy chủ.
- Kiểm tra mạch điện, PDU, UPS và loại ổ cắm (C13/C19) trước khi hàng về; máy nhiều GPU có thể cần nguồn 3 pha.
- Làm mát: gần như toàn bộ điện năng thành nhiệt. Tủ rack mật độ cao cần tính công suất điều hoà, lối gió nóng/lạnh, có thể cần làm mát chất lỏng.
- Rack: độ sâu tủ, tải trọng sàn, số U, không gian đi dây mạng tốc độ cao.
Nếu phòng máy chưa đáp ứng, hãy tính phương án đặt máy tại trung tâm dữ liệu. Đội HQG khảo sát điện, làm mát và mặt bằng trong gói dịch vụ hạ tầng AI.
Bước 7: Chốt cấu hình và kế hoạch mở rộng
- Viết cấu hình thành bảng: GPU, CPU, RAM, NVMe, NIC, nguồn, BMC, bảo hành.
- Ghi rõ giả định (mô hình, ngữ cảnh, người dùng) để sau này biết lúc nào cấu hình không còn đủ.
- Chừa đường mở rộng: thêm GPU, thêm node, nâng mạng.
- Đối chiếu với các mẫu trong danh mục máy chủ hoặc gửi yêu cầu cho kỹ sư HQG.
Kiểm tra thành công
- Có bảng cấu hình ghi rõ giả định tải và VRAM ước lượng từ công cụ tính cấu hình.
- Đã xác nhận nguồn điện, UPS, làm mát và vị trí đặt máy.
- Đã biết cần hay không cần NVLink/NVSwitch và mạng RDMA — kèm lý do.
- Có kế hoạch lưu trữ checkpoint và sao lưu.
Lỗi thường gặp & cách sửa
Mô hình chạy vừa VRAM lúc thử nhưng hết bộ nhớ khi nhiều người dùng
Nguyên nhân thường gặp: Chỉ tính trọng số, quên KV cache tăng theo số phiên và độ dài ngữ cảnh.
Tính lại với số phiên đồng thời thật, giới hạn độ dài ngữ cảnh ở tầng phục vụ, cân nhắc lượng tử hoá hoặc thêm GPU.
GPU chậm dần, nhiệt độ cao, tự giảm xung
Nguyên nhân thường gặp: Luồng gió không đủ, card passive đặt sai thùng máy, phòng máy quá nóng.
Kiểm tra cấu hình quạt trong BMC, nhiệt độ gió vào, lối gió nóng/lạnh. Card passive chỉ dùng trong máy chủ được hãng xác nhận hỗ trợ.
Máy nhiều GPU sập nguồn khi tải nặng
Nguyên nhân thường gặp: Công suất đỉnh vượt khả năng của nguồn, mạch điện hoặc PDU.
Đối chiếu công suất đỉnh theo datasheet, kiểm tra chế độ nguồn dự phòng, tách mạch điện, nâng PDU/UPS.
Bước tiếp theo
Bước tiếp theo khi phần cứng đã về.
Nhập mô hình, ngữ cảnh, số người dùng để có khoảng VRAM.
Các dòng máy chủ đang có trong danh mục HQG.
Nguồn chính chủ
Lệnh, tên gói và tham số thay đổi theo phiên bản. Trước khi chạy trên máy thật, hãy kiểm tra phiên bản mới nhất tại trang chính chủ:
- NVIDIA Data Center — tài liệu
- NVIDIA Networking (InfiniBand/Ethernet)
- Hugging Face — tối ưu bộ nhớ khi huấn luyện trên GPU
Giới hạn của bài
- Bài không so sánh hiệu năng giữa các dòng GPU và không đưa giá — những con số đó thay đổi nhanh và phụ thuộc cấu hình cụ thể.
- Quy tắc VRAM chỉ là quy tắc thô; hãy dùng công cụ tính hoặc chạy thử trước khi mua số lượng lớn.
Kỹ sư HQG khảo sát, lên cấu hình, lắp đặt và bàn giao hạ tầng AI chạy được thật.