Nhúng & rerank (RAG)Dùng thương mại được
BGE-M3: cần bao nhiêu VRAM, GPU nào để chạy
BAAI phát hành BGE-M3 với 568 triệu tham số. Bảng dưới ước tính bộ nhớ GPU cho từng cách dùng để bạn chọn đúng máy chủ trước khi đầu tư. Hãng công bố hơn 100 ngôn ngữ nhưng không liệt kê từng thứ tiếng — nên thử trên dữ liệu tiếng Việt của bạn.
Thông số
- Hãng phát triển
- BAAI
- Họ mô hình
- BGE
- Nhóm
- Nhúng & rerank (RAG)
- Số tham số
- 568 triệu tham số
- Ngữ cảnh gốc
- 8.192 token
- Giấy phép
- MIT — dùng thương mại được
- Tiếng Việt
- Hãng chưa công bố cụ thể
- Ứng dụng gợi ý
- Vector hoá tài liệu cho RAG · Tìm kiếm ngữ nghĩa · Tìm kiếm lai dense + sparse
VRAM ước tính theo độ chính xác
Chỉ gồm trọng số, gradient/optimizer (khi huấn luyện) và dự phòng — bộ nhớ theo độ phân giải ảnh, độ dài audio hay batch cần đo thực tế. Đã gồm dự phòng CUDA/framework.
| Tác vụ | FP32 | BF16 | FP8 / INT8 | INT4 |
|---|---|---|---|---|
| Suy luận (1 người dùng) | 3,3 GB | 2 GB | 1,4 GB | 1,1 GB |
| Fine-tune LoRA | — | 2,1 GB | 1,5 GB | — |
| Fine-tune QLoRA | — | — | — | 1,2 GB |
| Fine-tune toàn phần | 11,3 GB | 11,3 GB | — | — |
"—" là tổ hợp không dùng trong thực tế. GB = 10⁹ byte; VRAM hãng ghi theo GiB nên card thực tế dư thêm khoảng 7%.
Phương án GPU gợi ý
Số card ít nhất đủ VRAM, ưu tiên cân bằng giữa số lượng, độ dư bộ nhớ và giá card.
- Suy luận 4-bitcần ~1,1 GB
1 × NVIDIA L4 24GB · 24 GB · ~94 W · card ~68.500.000 ₫
Một card là đủ — đơn giản nhất để triển khai.
Tính với nhiều người dùng / context dài hơn - Suy luận BF16 (chất lượng gốc)cần ~2 GB
1 × NVIDIA L4 24GB · 24 GB · ~94 W · card ~68.500.000 ₫
Một card là đủ — đơn giản nhất để triển khai.
Tính với nhiều người dùng / context dài hơn - Fine-tune QLoRAcần ~1,2 GB
1 × NVIDIA L40S 48GB · 48 GB · ~455 W · card ~168.000.000 ₫
Một card là đủ — đơn giản nhất để triển khai.
Tính với nhiều người dùng / context dài hơn
Giá là giá tham khảo riêng card GPU, chưa gồm máy chủ và VAT.
Máy chủ HQG chạy được BGE-M3
Máy hỗ trợ từ 1 GPU trở lên — đủ khe cho phương án suy luận BF16 ở trên. Cấu hình GPU cụ thể do kỹ sư HQG tư vấn.
AI Ready
Cần triển khai BGE-M3 cho doanh nghiệp?
HQG tư vấn cấu hình, lắp đặt máy chủ GPU và cài sẵn môi trường chạy mô hình tại hạ tầng của bạn.
Thông tin tham khảo, kiểm tra giấy phép trước khi dùng thương mại. Số tham số và kiến trúc lấy từ trang chính chủ; mức VRAM là ước tính theo công thức, không phải đo thực tế. Dữ liệu cập nhật 09/2026. Nguồn: huggingface.co/BAAI/bge-m3.