gpt-oss-120b: cần bao nhiêu VRAM, GPU nào để chạy

VRAM ước tính theo độ chính xác

Suy luận: 1 người dùng, ngữ cảnh 8.192 token. Huấn luyện: batch 1, 2.048 token/chuỗi, bật gradient checkpointing. Đã gồm dự phòng CUDA/framework.

"—" là tổ hợp không dùng trong thực tế. GB = 10⁹ byte; VRAM hãng ghi theo GiB nên card thực tế dư thêm khoảng 7%.

Phương án GPU gợi ý

Số card ít nhất đủ VRAM, ưu tiên cân bằng giữa số lượng, độ dư bộ nhớ và giá card.

• Suy luận 4-bitcần ~72,6 GB

  1 × NVIDIA A100 80GB PCIe · 80 GB · ~390 W · card ~285.000.000 ₫

  Một card là đủ — đơn giản nhất để triển khai. Dư VRAM dưới 10%, dễ thiếu khi tăng context hoặc người dùng.

  Tính với nhiều người dùng / context dài hơn
• Suy luận BF16 (chất lượng gốc)cần ~258,9 GB

  4 × NVIDIA A100 80GB PCIe · 320 GB · ~1,6 kW · card ~1.140.000.000 ₫

  Chia mô hình qua 4 GPU (tensor parallel) với NVLink.

  Tính với nhiều người dùng / context dài hơn
• Fine-tune QLoRAcần ~74 GB

  1 × NVIDIA A100 80GB PCIe · 80 GB · ~390 W · card ~285.000.000 ₫

  Một card là đủ — đơn giản nhất để triển khai. Dư VRAM dưới 10%, dễ thiếu khi tăng context hoặc người dùng.

  Tính với nhiều người dùng / context dài hơn

Giá là giá tham khảo riêng card GPU, chưa gồm máy chủ và VAT.