So sánh NVIDIA A100 40GB vs A100 80GB: chọn bản nào cho hạ tầng AI của bạn

Hai bản A100 giống nhau nhiều hơn bạn nghĩ

A100 40GB và A100 80GB dùng chung một con chip GA100 sản xuất trên tiến trình TSMC 7nm với 54,2 tỷ transistor, cùng 6.912 nhân CUDA, 432 Tensor Core thế hệ 3 và cùng bộ thông số tính toán: 19,5 TFLOPS FP64 Tensor Core, 156 TFLOPS TF32 dạng dense, 312 TFLOPS FP16 Tensor Core dạng dense và 624 TOPS INT8. Nói cách khác, nếu bài toán của bạn bị giới hạn bởi năng lực tính toán thuần tuý chứ không phải bộ nhớ, hai bản này cho ra kết quả gần như y hệt nhau. Khác biệt duy nhất nhưng cực kỳ quan trọng nằm ở hệ thống bộ nhớ.

Bản 40GB dùng HBM2 với băng thông khoảng 1.555 GB/s. Bản 80GB dùng HBM2e, nâng băng thông lên khoảng 2.039 GB/s trên biến thể SXM4, tức tăng khoảng 31 phần trăm. Bản PCIe 80GB đạt xấp xỉ 1.935 GB/s do xung bộ nhớ thấp hơn một chút. Về điện năng, A100 40GB PCIe có TDP 250W, bản 80GB PCIe lên 300W, còn bản SXM4 lần lượt là 400W và 500W. Con số TDP này ảnh hưởng trực tiếp tới thiết kế nguồn và luồng gió của server, nên đừng bỏ qua khi lên cấu hình.

Một điểm nhiều đơn vị mua lần đầu hay nhầm: A100 không có đầu xuất hình, không có NVENC dành cho encode video theo cách các dòng workstation làm. Đây là accelerator tính toán thuần tuý, bắt buộc đặt trong server có luồng gió cưỡng bức. Nếu định lắp vào một case desktop thông thường, tản nhiệt passive của card sẽ không được cấp gió và GPU sẽ throttle rồi tắt. Đây là lỗi triển khai chúng tôi gặp thường xuyên khi khách hàng mua card rời trên thị trường thứ cấp.

• Cùng chip GA100, cùng 6.912 nhân CUDA và 432 Tensor Core thế hệ 3.
• 40GB dùng HBM2 băng thông khoảng 1.555 GB/s.
• 80GB dùng HBM2e băng thông khoảng 2.039 GB/s trên bản SXM4.
• TDP chênh lệch 250W so với 300W ở bản PCIe, 400W so với 500W ở bản SXM4.
• Cả hai đều là card passive, bắt buộc dùng trong server có luồng gió cưỡng bức.

Băng thông bộ nhớ quyết định tốc độ sinh token

Giai đoạn decode của một mô hình ngôn ngữ là bài toán bị giới hạn bởi bộ nhớ chứ không phải bởi phép nhân ma trận. Mỗi token sinh ra đòi hỏi đọc toàn bộ trọng số của mô hình từ VRAM về nhân tính toán một lần. Với một mô hình 13 tỷ tham số ở định dạng FP16, mỗi bước decode phải kéo khoảng 26 GB dữ liệu. Trên bản 40GB với 1.555 GB/s, trần lý thuyết rơi vào khoảng 59 token mỗi giây cho một luồng đơn. Trên bản 80GB với 2.039 GB/s, con số đó lên khoảng 78 token mỗi giây.

Thực tế đo đạc trên vLLM hoặc TensorRT-LLM thường đạt 60 đến 75 phần trăm trần lý thuyết do overhead của kernel, đồng bộ và attention. Nhưng tỷ lệ chênh lệch giữa hai bản card vẫn được giữ nguyên khá sát: chúng tôi đo được mức tăng 25 đến 30 phần trăm throughput decode khi chuyển từ 40GB sang 80GB trên cùng một mô hình và cùng batch size. Đây là con số ổn định, có thể đưa vào bài toán tính chi phí mỗi triệu token một cách tự tin.

Ngược lại, giai đoạn prefill khi xử lý prompt đầu vào lại bị giới hạn bởi năng lực tính toán. Ở đây hai bản card ngang nhau. Nếu workload của bạn thiên về phân loại văn bản, tạo embedding hoặc chấm điểm hàng loạt với output ngắn, phần lớn thời gian nằm ở prefill và bản 40GB sẽ không hề thua kém. Hãy đo tỷ lệ token đầu vào trên token đầu ra của hệ thống thực tế trước khi ra quyết định mua.

KV cache là thứ ăn hết VRAM của bạn

Nhiều đội kỹ thuật tính dung lượng VRAM chỉ dựa trên kích thước trọng số rồi ngạc nhiên khi hệ thống hết bộ nhớ lúc tải cao. Thủ phạm là KV cache. Công thức xấp xỉ cho mỗi token là hai nhân số lớp nhân số đầu KV nhân chiều của mỗi đầu nhân số byte trên phần tử. Với một mô hình dạng Llama 3 8B có 32 lớp, 8 đầu KV và chiều đầu 128, ở FP16 ta được khoảng 131 KB cho mỗi token. Một phiên hội thoại 8.192 token do đó chiếm khoảng 1,07 GB chỉ riêng cho cache.

Đặt con số đó vào bối cảnh phục vụ đồng thời. Sau khi trọng số FP16 chiếm 16 GB, một card 40GB còn lại chừng 21 GB khả dụng sau khi trừ dự phòng cho activation và phân mảnh, tương đương khoảng 19 phiên 8K đồng thời. Card 80GB còn lại chừng 60 GB, tương đương hơn 55 phiên. Chênh lệch không phải 30 phần trăm mà gần gấp ba lần số người dùng đồng thời. Đây mới là lý do thực sự khiến bản 80GB đáng tiền trong môi trường sản xuất nhiều người dùng.

Với các mô hình hỗ trợ context 32K hoặc 128K, khoảng cách còn giãn rộng hơn nữa. Một phiên 32K của mô hình 8B đã ngốn hơn 4 GB. Trên card 40GB bạn chỉ chạy được bốn đến năm phiên dài như vậy trước khi phải từ chối yêu cầu mới. Các kỹ thuật như PagedAttention của vLLM giúp giảm phân mảnh và tăng tỷ lệ sử dụng lên trên 90 phần trăm, nhưng không tạo ra thêm bộ nhớ vật lý. Nếu sản phẩm của bạn hứa hẹn context dài, hãy chọn 80GB ngay từ đầu.

• KV cache mỗi token của mô hình 8B dạng GQA vào khoảng 131 KB ở FP16.
• Phiên 8.192 token chiếm khoảng 1,07 GB VRAM riêng cho cache.
• Card 40GB chạy mô hình 8B FP16 phục vụ được chừng 19 phiên 8K đồng thời.
• Card 80GB nâng con số đó lên hơn 55 phiên, gấp gần ba lần.
• PagedAttention giảm phân mảnh nhưng không thay thế được dung lượng vật lý.

Fine-tune LoRA và full fine-tune: hai câu chuyện khác nhau

Full fine-tune một mô hình 7B với optimizer AdamW cần trọng số 14 GB ở FP16, gradient 14 GB, cộng thêm trạng thái optimizer gồm master weight FP32, momentum và variance chiếm khoảng 84 GB. Tổng cộng vượt 110 GB, tức không card A100 đơn nào kham nổi. Bạn buộc phải dùng DeepSpeed ZeRO giai đoạn 2 hoặc 3, hoặc FSDP, để phân tán trạng thái optimizer qua nhiều GPU. Trong kịch bản này số lượng card và băng thông NVLink quan trọng hơn nhiều so với việc mỗi card là 40 hay 80 GB.

LoRA và QLoRA thay đổi hoàn toàn phép tính. Khi đóng băng trọng số gốc và chỉ huấn luyện các ma trận thấp hạng chiếm dưới 1 phần trăm tham số, trạng thái optimizer co lại còn vài trăm MB. QLoRA lượng tử hoá trọng số gốc xuống NF4, đưa mô hình 7B về khoảng 4 GB và mô hình 70B về khoảng 38 GB. Một card A100 80GB có thể fine-tune LoRA cho mô hình 70B với chiều dài chuỗi 2.048 nếu bật gradient checkpointing. Card 40GB thì không, kể cả khi lượng tử hoá.

Ranh giới thực dụng chúng tôi vẫn khuyên khách hàng là như sau. Nếu mô hình lớn nhất bạn định fine-tune có 13 tỷ tham số trở xuống và bạn dùng LoRA, card 40GB hoàn toàn đủ dùng và tiết kiệm đáng kể. Nếu bạn muốn chạm tay vào nhóm 34B đến 70B, kể cả chỉ với LoRA, 80GB là điều kiện cần chứ không phải tuỳ chọn. HQG thường dựng sẵn môi trường PoC hai tuần để khách chạy đúng tập dữ liệu của mình trước khi quyết định mua.

MIG và bài toán chia sẻ GPU cho nhiều nhóm

Multi-Instance GPU cho phép cắt một card A100 thành tối đa bảy instance độc lập, mỗi instance có phần SM, phần bộ nhớ và phần đường truyền riêng, cách ly hoàn toàn về lỗi và hiệu năng. Đây là tính năng bị đánh giá thấp nhưng lại quyết định tỷ lệ tận dụng hạ tầng trong doanh nghiệp. Vấn đề nằm ở chỗ dung lượng mỗi instance phụ thuộc trực tiếp vào dung lượng card gốc. Trên bản 40GB, profile nhỏ nhất là 1g.5gb tức chỉ 5 GB. Trên bản 80GB, profile tương ứng là 1g.10gb với 10 GB.

Sự khác biệt 5 GB so với 10 GB nghe nhỏ nhưng lại là ranh giới sống còn. Với 5 GB bạn chỉ chạy được các mô hình embedding, mô hình thị giác nhỏ hoặc mô hình ngôn ngữ dưới 3 tỷ tham số đã lượng tử hoá. Với 10 GB bạn phục vụ được mô hình 7B ở INT8 hoặc 8B ở NF4 kèm context vừa phải. Nếu mục tiêu là cấp cho mỗi nhóm dữ liệu trong công ty một slot GPU riêng để chạy trợ lý nội bộ, bản 80GB cho bạn bảy slot dùng được thay vì bảy slot chỉ để thử nghiệm.

Lưu ý kỹ thuật khi triển khai: MIG phải bật ở mức driver và yêu cầu khởi động lại GPU, các instance không giao tiếp qua NVLink với nhau, và một số framework huấn luyện phân tán không hoạt động qua ranh giới MIG. Vì vậy hãy dùng MIG cho inference và phát triển, còn giữ nguyên card đầy đủ cho các job huấn luyện. Trong Kubernetes, NVIDIA GPU Operator quản lý cấu hình MIG theo nhãn node, cho phép bạn chuyển đổi profile mà không phải cài lại hệ thống.

• MIG cắt A100 thành tối đa 7 instance cách ly hoàn toàn.
• Bản 40GB có profile nhỏ nhất 1g.5gb, bản 80GB là 1g.10gb.
• Ngưỡng 10 GB mỗi instance mới đủ chạy mô hình 7B lượng tử hoá.
• MIG không hỗ trợ NVLink giữa các instance, nên không dùng cho huấn luyện phân tán.
• NVIDIA GPU Operator quản lý profile MIG theo nhãn node trong Kubernetes.

Giá thị trường và thực tế hàng đã qua sử dụng

Tại thời điểm biên soạn, A100 80GB PCIe hàng mới chính hãng có giá tham chiếu khoảng 15.000 đến 18.000 USD tuỳ kênh phân phối và số lượng, quy đổi vào khoảng 380 đến 460 triệu đồng chưa bao gồm thuế. Bản 40GB PCIe mới gần như đã ngừng sản xuất, chỉ còn tồn kho lẻ với giá khoảng 8.000 đến 11.000 USD. Chênh lệch giá giữa hai bản vì vậy thường rơi vào khoảng 60 đến 80 phần trăm, cao hơn nhiều so với mức chênh 31 phần trăm về băng thông.

Thị trường thứ cấp đang là nơi phần lớn ngân sách vừa phải tìm đến. A100 40GB SXM4 tháo từ hệ HGX có giá khoảng 4.500 đến 6.500 USD, nhưng bạn cần cả baseboard tương thích, một chi phí bị bỏ quên rất thường xuyên. Bản 40GB PCIe đã qua sử dụng dao động 5.000 đến 7.000 USD, tương đương 130 đến 180 triệu đồng. Bản 80GB PCIe cũ hiếm hơn và giữ giá tốt, quanh mức 9.000 đến 12.000 USD.

Khi mua hàng thứ cấp, bắt buộc kiểm tra ba thứ. Thứ nhất là số giờ hoạt động và lịch sử nhiệt độ, đọc qua nvidia-smi với các trường ECC error và retired pages. Thứ hai là số lỗi ECC không sửa được, chỉ cần một lỗi cũng đủ để từ chối lô hàng. Thứ ba là tình trạng vật lý của tấm tản nhiệt và lớp keo dẫn nhiệt, vì card khai thác coin hoặc chạy trong trại tính toán liên tục ba năm thường đã suy giảm rõ rệt. Chi phí bảo hành của card cũ gần như bằng không, nên hãy tính rủi ro này vào giá.

Khi nào bản 40GB thực sự là lựa chọn đúng

Có nhiều kịch bản mà 40GB không chỉ đủ mà còn là lựa chọn tối ưu về chi phí trên hiệu năng. Kịch bản đầu tiên là thị giác máy tính: huấn luyện và triển khai các mô hình phát hiện đối tượng như YOLO, phân đoạn ảnh y tế hoặc nhận dạng biển số. Những mô hình này hiếm khi vượt quá 500 triệu tham số, và ảnh đầu vào dù ở độ phân giải 1.024 pixel cũng chỉ tiêu tốn vài GB activation. Card 40GB xử lý batch 32 đến 64 ảnh thoải mái.

Kịch bản thứ hai là tính toán khoa học và mô phỏng. Năng lực FP64 Tensor Core 19,5 TFLOPS của A100 giống hệt nhau ở hai bản, và phần lớn bài toán CFD, động lực học phân tử hay tài chính định lượng đều được chia lưới sao cho vừa bộ nhớ có sẵn. Kịch bản thứ ba là môi trường phát triển và đào tạo nội bộ, nơi kỹ sư cần một GPU thật để kiểm thử pipeline trước khi đẩy lên cụm huấn luyện lớn hơn.

Cuối cùng là kịch bản inference cho các mô hình dưới 13 tỷ tham số đã lượng tử hoá phục vụ số người dùng đồng thời vừa phải, chẳng hạn dưới hai mươi người trong một phòng ban. Một mô hình 13B ở INT8 chiếm 13 GB, còn lại 25 GB cho KV cache là quá đủ. Nếu ngân sách hạn chế, mua hai card 40GB thay vì một card 80GB thường cho throughput tổng cao hơn nhờ song song hoá theo dữ liệu, miễn là mô hình vừa trong một card.

• Thị giác máy tính và mô hình dưới 500 triệu tham số: 40GB dư dùng.
• Tính toán FP64 khoa học: hai bản có năng lực tính toán hoàn toàn giống nhau.
• Inference mô hình dưới 13B lượng tử hoá cho dưới 20 người dùng: 40GB đủ.
• Hai card 40GB thường rẻ hơn và cho throughput tổng cao hơn một card 80GB.
• Môi trường dev và đào tạo nội bộ không cần bản dung lượng cao.

Khuyến nghị hành động

Hãy bắt đầu bằng việc đo, không phải bằng việc chọn card. Chạy workload thực tế của bạn trên một GPU thuê theo giờ trong hai tuần và ghi lại ba chỉ số: đỉnh VRAM sử dụng qua nvidia-smi lấy mẫu mỗi giây, tỷ lệ tận dụng băng thông bộ nhớ qua Nsight Systems, và số phiên đồng thời bị từ chối vì hết bộ nhớ. Ba con số này quyết định câu trả lời chính xác hơn mọi bài so sánh trên giấy, kể cả bài này.

Quy tắc quyết định gọn gàng như sau. Chọn 80GB nếu bạn phục vụ trên hai mươi người dùng đồng thời, cần context từ 16K trở lên, muốn fine-tune mô hình từ 34B trở lên, hoặc định dùng MIG để cấp GPU cho nhiều nhóm. Chọn 40GB nếu workload chủ yếu là thị giác máy tính, tính toán khoa học, hoặc inference mô hình nhỏ dưới 13B, và ngân sách cần chia cho nhiều card thay vì dồn vào một card.

Về triển khai, đừng quên phần hạ tầng xung quanh. Một server 4 card A100 80GB PCIe tiêu thụ khoảng 1,2 kW riêng cho GPU, cộng CPU và ổ đĩa thì tổng công suất rack cần chuẩn bị vào khoảng 2,5 đến 3 kW mỗi máy, kèm giải nhiệt tương ứng. Nếu phòng máy hiện tại chỉ thiết kế cho 3 kW mỗi tủ rack, bạn cần tính lại trước khi ký đơn hàng GPU. HQG hỗ trợ khảo sát tải điện và luồng gió tại chỗ ở TP.HCM, Đà Nẵng và Hà Nội, và cho thuê GPU theo tháng để chạy PoC trước khi đầu tư dứt điểm. Hotline 1900 636 106.