AI Ready
Suy luận & lập trìnhDùng thương mại được
DeepSeek-R1: cần bao nhiêu VRAM, GPU nào để chạy
DeepSeek phát hành DeepSeek-R1 với 671 tỷ tham số (MoE, kích hoạt 37 tỷ/token). Bảng dưới ước tính bộ nhớ GPU cho từng cách dùng để bạn chọn đúng máy chủ trước khi đầu tư. MoE 671 tỷ tham số (tệp phát hành ~685 tỷ gồm mô-đun MTP). Dùng Multi-head Latent Attention nên KV cache nhỏ hơn nhiều so với công thức GQA — kiến trúc để trống, KV là cận trên.
Thông số
- Hãng phát triển
- DeepSeek
- Họ mô hình
- DeepSeek
- Nhóm
- Suy luận & lập trình
- Số tham số
- 671 tỷ tham số (MoE, kích hoạt 37 tỷ/token)
- Ngữ cảnh gốc
- 163.840 token
- Giấy phép
- MIT — dùng thương mại được
- Tiếng Việt
- Hãng chưa công bố cụ thể
- Ứng dụng gợi ý
- Suy luận toán/logic · Lập trình · Sinh dữ liệu chưng cất
VRAM ước tính theo độ chính xác
Suy luận: 1 người dùng, ngữ cảnh 8.192 token. Huấn luyện: batch 1, 2.048 token/chuỗi, bật gradient checkpointing. Đã gồm dự phòng CUDA/framework.
| Tác vụ | FP32 | BF16 | FP8 / INT8 | INT4 |
|---|---|---|---|---|
| Suy luận (1 người dùng) | 2,96 TB | 1,48 TB | 742,4 GB | 410,2 GB |
| Fine-tune LoRA | — | 1,49 TB | 749 GB | — |
| Fine-tune QLoRA | — | — | — | 415,3 GB |
| Fine-tune toàn phần | 12,35 TB | 12,35 TB | — | — |
"—" là tổ hợp không dùng trong thực tế. GB = 10⁹ byte; VRAM hãng ghi theo GiB nên card thực tế dư thêm khoảng 7%.
Phương án GPU gợi ý
Số card ít nhất đủ VRAM, ưu tiên cân bằng giữa số lượng, độ dư bộ nhớ và giá card.
- Suy luận 4-bitcần ~410,2 GB
8 × NVIDIA A100 80GB PCIe · 640 GB · ~3,1 kW · card ~2.280.000.000 ₫
Chia mô hình qua 8 GPU (tensor parallel) với NVLink.
Tính với nhiều người dùng / context dài hơn - Suy luận BF16 (chất lượng gốc)cần ~1,48 TB
32 × NVIDIA L40S 48GB · 1.536 GB · ~14,6 kW · card ~5.376.000.000 ₫
Vượt 8 GPU/máy: cần cụm 4 máy nối mạng InfiniBand/RoCE tốc độ cao và phần mềm huấn luyện phân tán. Dư VRAM dưới 10%, dễ thiếu khi tăng context hoặc người dùng.
Tính với nhiều người dùng / context dài hơn - Fine-tune QLoRAcần ~415,3 GB
8 × NVIDIA A100 80GB PCIe · 640 GB · ~3,1 kW · card ~2.280.000.000 ₫
Huấn luyện trên 8 GPU có NVLink (FSDP/DeepSpeed ZeRO).
Tính với nhiều người dùng / context dài hơn
Giá là giá tham khảo riêng card GPU, chưa gồm máy chủ và VAT.
Máy chủ HQG chạy được DeepSeek-R1
Máy hỗ trợ 8 GPU trở lên — chạy BF16 cần cụm 4 máy như vậy, hoặc chọn bản lượng tử để gọn hơn. Cấu hình GPU cụ thể do kỹ sư HQG tư vấn.
Cần triển khai DeepSeek-R1 cho doanh nghiệp?
HQG tư vấn cấu hình, lắp đặt máy chủ GPU và cài sẵn môi trường chạy mô hình tại hạ tầng của bạn.
Thông tin tham khảo, kiểm tra giấy phép trước khi dùng thương mại. Số tham số và kiến trúc lấy từ trang chính chủ; mức VRAM là ước tính theo công thức, không phải đo thực tế. Dữ liệu cập nhật 09/2026. Nguồn: huggingface.co/deepseek-ai/DeepSeek-R1.