Trung tâm AI · Công cụ

Tính cấu hình GPU cho AI

Muốn chạy chatbot nội bộ hay fine-tune mô hình trên dữ liệu công ty? Chọn mô hình và cách dùng, công cụ cho biết cần bao nhiêu VRAM, RAM, ổ cứng, mấy card GPU — kèm công thức để kỹ sư của bạn kiểm tra lại.

Thông số đầu vào

Mô hình

8,2B tham số · ngữ cảnh gốc 40.960 token · kiến trúc từ config công khai

Tác vụ

Chạy mô hình có sẵn để trả lời, tóm tắt, trích xuất. Phổ biến nhất khi triển khai chatbot/RAG nội bộ.

Độ chính xác

Chất lượng gốc của mô hình, chuẩn mặc định khi phát hành.

Độ dài ngữ cảnh (token)

1.000 token ≈ 700–750 từ tiếng Anh; tiếng Việt thường tốn nhiều token hơn.

Người dùng đồng thời

Số yêu cầu được xử lý cùng lúc, không phải tổng số nhân viên dùng hệ thống.

Tổng VRAM

20,9 GB

Suy luận

RAM hệ thống

32 GB

Tối thiểu gợi ý

Ổ NVMe

480 GB

Dung lượng gợi ý

Phương án gọn nhất

1 × L4 24GB

Một máy chủ

VRAM gồm những gì

Trọng số mô hình16,4 GB · 78%
KV cache1,2 GB · 6%
Activations0,7 GB · 3%
Dự phòng CUDA/framework2,6 GB · 12%

Phương án GPU

Mỗi dòng là số card ít nhất (1/2/4/8) đủ chứa 20,9 GB. Giá là giá tham khảo riêng card GPU, chưa gồm máy chủ và VAT.

1 × NVIDIA L4 24GBPhù hợp nhất
VRAM 24 GBDư 13%Điện ~94 WCard ~68.500.000 ₫
Một card là đủ — đơn giản nhất để triển khai.
1 × NVIDIA L40S 48GB
VRAM 48 GBDư 56%Điện ~455 WCard ~168.000.000 ₫
Một card là đủ — đơn giản nhất để triển khai.
1 × NVIDIA A100 40GB PCIe
VRAM 40 GBDư 48%Điện ~325 WCard ~178.000.000 ₫
Một card là đủ — đơn giản nhất để triển khai.
1 × NVIDIA A100 80GB PCIe
VRAM 80 GBDư 74%Điện ~390 WCard ~285.000.000 ₫
Một card là đủ — đơn giản nhất để triển khai.
1 × NVIDIA RTX 6000 Ada 48GB
VRAM 48 GBDư 56%Điện ~390 WCard ~195.000.000 ₫
Một card là đủ — đơn giản nhất để triển khai.
1 × NVIDIA H100 NVL 94GB PCIe
VRAM 94 GBDư 78%Điện ~455 WCard ~620.000.000 ₫
Một card là đủ — đơn giản nhất để triển khai.

Giả định cần biết

KV cache giả định mỗi chuỗi dùng hết 8.192 token (trường hợp xấu nhất). vLLM/SGLang cấp phát theo lượng dùng thực nên thường cần ít hơn; bật KV cache FP8 giảm khoảng một nửa.
GB = 10⁹ byte. VRAM hãng ghi theo GiB (lớn hơn ~7%), nên so với card thực tế kết quả nghiêng về phía an toàn.
Thông tin tham khảo, kiểm tra giấy phép trước khi dùng thương mại. Số tham số và kiến trúc lấy từ trang chính chủ; mức VRAM là ước tính theo công thức, không phải đo thực tế.

Vì sao ra con số này

Trọng số mô hình

8,19 tỷ tham số × 2 byte = 16,4 GB

KV cache

2 × 36 lớp × 8 KV head × 128 headDim × 8.192 token × 1 chuỗi × 2 byte = 1,2 GB

Activations

Bộ đệm prefill: min(context × chuỗi, 8.192) = 8.192 token × 4096 hidden × 20 byte = 0,67 GB

Dự phòng CUDA/framework

10% × 18,3 GB + 0,8 GB CUDA context = 2,6 GB

RAM hệ thống

max(32 GB, 20,9 GB VRAM) → làm tròn lên 32 GB (quy tắc kinh nghiệm)

Ổ NVMe

200 GB hệ điều hành/container + 16,4 GB bản gốc bf16 = 216 GB → mốc 480 GB

Kiến trúc dùng để tính: 36 lớp, hidden 4096, 8 KV head × headDim 128 (theo config công khai).

Bước tiếp theo

Kỹ sư HQG kiểm tra lại con số với phần mềm bạn định dùng (vLLM, Ollama, TGI, Axolotl…) và đề xuất máy chủ cụ thể.

Xem máy chủ GPU phù hợp Nhận tư vấn cấu hình Tư vấn triển khai AI

Công cụ tính như thế nào?

Mọi con số được tính ngay trên trình duyệt bằng công thức công khai, không gửi dữ liệu đi đâu. Kết quả là ước lượng để lên cấu hình sơ bộ — phần mềm chạy mô hình, độ dài câu hỏi thực tế và cách chia GPU đều làm con số thay đổi.

Trọng số: Số tham số × byte/tham số: FP32 = 4, BF16 = 2, FP8/INT8 = 1, INT4 ≈ 0,55 (gồm scale).
KV cache: 2 × số lớp × số KV head × headDim × độ dài ngữ cảnh × số người dùng đồng thời × 2 byte.
Fine-tune toàn phần: ≈ 16 byte/tham số (trọng số, gradient, bản FP32 và 2 trạng thái Adam) + activations.
LoRA / QLoRA: Mô hình gốc (BF16 hoặc 4-bit) + adapter khoảng 1% tham số kèm gradient và optimizer riêng.
Thời gian huấn luyện: 6 × tham số × số token ÷ (FLOPs mỗi GPU × số GPU × MFU 40%) — bậc độ lớn.

Nên chọn độ chính xác nào?

BF16 giữ nguyên chất lượng mô hình nhưng tốn bộ nhớ nhất. Mô hình 8 tỷ tham số cần khoảng 16 GB chỉ riêng trọng số.

FP8/INT8 giảm một nửa bộ nhớ, chất lượng thường gần như gốc. FP8 cần GPU đời Ada Lovelace (L4, L40S, RTX 6000 Ada) hoặc Hopper (H100) trở lên.

INT4 giảm gần 4 lần, cho phép chạy mô hình 70 tỷ tham số trên một card 48 GB. Phù hợp khi ngân sách GPU hạn chế và chấp nhận chất lượng giảm nhẹ.

Chưa chắc mô hình nào hợp với bài toán? Xem thư viện mô hình AI mở với giấy phép, hỗ trợ tiếng Việt và VRAM ước tính cho từng mô hình.