AI Ready
LLM đa dụngDùng thương mại đượcHỗ trợ tiếng Việt
Qwen3 235B-A22B: cần bao nhiêu VRAM, GPU nào để chạy
Alibaba Qwen phát hành Qwen3 235B-A22B với 235,1 tỷ tham số (MoE, kích hoạt 22 tỷ/token). Bảng dưới ước tính bộ nhớ GPU cho từng cách dùng để bạn chọn đúng máy chủ trước khi đầu tư.
Thông số
- Hãng phát triển
- Alibaba Qwen
- Họ mô hình
- Qwen3
- Nhóm
- LLM đa dụng
- Số tham số
- 235,1 tỷ tham số (MoE, kích hoạt 22 tỷ/token)
- Ngữ cảnh gốc
- 40.960 token
- Giấy phép
- Apache 2.0 — dùng thương mại được
- Tiếng Việt
- Có trong danh sách ngôn ngữ hãng công bố
- Kiến trúc
- 94 lớp · hidden 4096 · 4 KV head × 128
- Ứng dụng gợi ý
- Trợ lý cấp cao · Suy luận phức tạp · Thay thế API đóng
VRAM ước tính theo độ chính xác
Suy luận: 1 người dùng, ngữ cảnh 8.192 token. Huấn luyện: batch 1, 2.048 token/chuỗi, bật gradient checkpointing. Đã gồm dự phòng CUDA/framework.
| Tác vụ | FP32 | BF16 | FP8 / INT8 | INT4 |
|---|---|---|---|---|
| Suy luận (1 người dùng) | 1,04 TB | 520,5 GB | 261,9 GB | 145,5 GB |
| Fine-tune LoRA | — | 525,1 GB | 266,5 GB | — |
| Fine-tune QLoRA | — | — | — | 149,1 GB |
| Fine-tune toàn phần | 4,33 TB | 4,33 TB | — | — |
"—" là tổ hợp không dùng trong thực tế. GB = 10⁹ byte; VRAM hãng ghi theo GiB nên card thực tế dư thêm khoảng 7%.
Phương án GPU gợi ý
Số card ít nhất đủ VRAM, ưu tiên cân bằng giữa số lượng, độ dư bộ nhớ và giá card.
- Suy luận 4-bitcần ~145,5 GB
2 × NVIDIA A100 80GB PCIe · 160 GB · ~780 W · card ~570.000.000 ₫
Chia mô hình qua 2 GPU (tensor parallel) với NVLink. Dư VRAM dưới 10%, dễ thiếu khi tăng context hoặc người dùng.
Tính với nhiều người dùng / context dài hơn - Suy luận BF16 (chất lượng gốc)cần ~520,5 GB
8 × NVIDIA A100 80GB PCIe · 640 GB · ~3,1 kW · card ~2.280.000.000 ₫
Chia mô hình qua 8 GPU (tensor parallel) với NVLink.
Tính với nhiều người dùng / context dài hơn - Fine-tune QLoRAcần ~149,1 GB
2 × NVIDIA A100 80GB PCIe · 160 GB · ~780 W · card ~570.000.000 ₫
Huấn luyện trên 2 GPU có NVLink (FSDP/DeepSpeed ZeRO). Dư VRAM dưới 10%, dễ thiếu khi tăng context hoặc người dùng.
Tính với nhiều người dùng / context dài hơn
Giá là giá tham khảo riêng card GPU, chưa gồm máy chủ và VAT.
Máy chủ HQG chạy được Qwen3 235B-A22B
Máy hỗ trợ từ 8 GPU trở lên — đủ khe cho phương án suy luận BF16 ở trên. Cấu hình GPU cụ thể do kỹ sư HQG tư vấn.
Cần triển khai Qwen3 235B-A22B cho doanh nghiệp?
HQG tư vấn cấu hình, lắp đặt máy chủ GPU và cài sẵn môi trường chạy mô hình tại hạ tầng của bạn.
Thông tin tham khảo, kiểm tra giấy phép trước khi dùng thương mại. Số tham số và kiến trúc lấy từ trang chính chủ; mức VRAM là ước tính theo công thức, không phải đo thực tế. Dữ liệu cập nhật 09/2026. Nguồn: huggingface.co/Qwen/Qwen3-235B-A22B.