NVIDIA A100 vs H100 cho tác vụ AI: nâng cấp lúc nào là hợp lý

Ampere và Hopper: khác biệt không nằm ở số nhân

GA100 của kiến trúc Ampere được sản xuất trên tiến trình TSMC 7nm với 54,2 tỷ transistor và 108 SM hoạt động trên bản A100. GH100 của kiến trúc Hopper dùng tiến trình TSMC 4N tuỳ biến, chứa 80 tỷ transistor và kích hoạt 132 SM trên bản H100 SXM5, cho ra 16.896 nhân CUDA FP32. Số nhân tăng khoảng 22 phần trăm, nhưng hiệu năng thực tế trên tác vụ transformer tăng gấp hai đến bốn lần. Con số chênh lệch đó không đến từ việc nhồi thêm nhân mà đến từ thay đổi bản chất trong cách Tensor Core làm việc.

Tensor Core thế hệ 4 trên Hopper xử lý ma trận theo đơn vị nhóm luồng lớn hơn, giảm số lần đọc ghi trung gian qua register file. Hopper bổ sung Tensor Memory Accelerator, một khối phần cứng chuyên trách di chuyển dữ liệu giữa bộ nhớ toàn cục và shared memory theo lô lớn mà không chiếm luồng tính toán. Thêm vào đó là Thread Block Cluster, cho phép nhiều khối luồng trên các SM khác nhau chia sẻ trực tiếp shared memory. Ba thay đổi này cộng lại giúp giữ Tensor Core bận rộn ở tỷ lệ cao hơn hẳn.

Về thông số dạng dense, H100 SXM đạt 989 TFLOPS FP16 Tensor Core so với 312 TFLOPS của A100, tức nhanh hơn 3,2 lần. TF32 đạt 495 TFLOPS so với 156 TFLOPS. FP64 Tensor Core đạt 67 TFLOPS so với 19,5 TFLOPS, một mức tăng 3,4 lần đặc biệt có ý nghĩa với nhóm khách hàng tính toán khoa học. Tất cả các con số này nhân đôi nếu bật structured sparsity, nhưng trong thực tế rất ít mô hình sản xuất tận dụng được sparsity nên tôi khuyên bỏ qua khi lập kế hoạch.

• GH100 có 80 tỷ transistor trên tiến trình TSMC 4N, so với 54,2 tỷ của GA100.
• H100 SXM kích hoạt 132 SM và 16.896 nhân CUDA FP32.
• FP16 Tensor Core dense: 989 TFLOPS so với 312 TFLOPS của A100.
• FP64 Tensor Core: 67 TFLOPS so với 19,5 TFLOPS, tăng 3,4 lần.
• Tensor Memory Accelerator và Thread Block Cluster là hai khối mới của Hopper.

Transformer Engine và FP8: nơi khoảng cách giãn rộng nhất

Transformer Engine là điểm khác biệt lớn nhất và cũng bị hiểu sai nhiều nhất. Đây không phải một khối phần cứng độc lập mà là sự kết hợp giữa hỗ trợ định dạng FP8 ở mức Tensor Core và một lớp phần mềm theo dõi thống kê của từng tensor để chọn tỷ lệ co giãn phù hợp cho mỗi lớp trong từng bước. Hopper hỗ trợ hai biến thể FP8: E4M3 với bốn bit mũ dành cho lượt truyền xuôi, và E5M2 với năm bit mũ có dải động rộng hơn dành cho gradient ở lượt truyền ngược.

Ở FP8, H100 SXM đạt 1.979 TFLOPS dạng dense, gấp hơn sáu lần năng lực FP16 của A100 vốn chỉ có 312 TFLOPS. Quan trọng hơn con số thô, FP8 giảm một nửa dung lượng bộ nhớ cho trọng số và một nửa lưu lượng cần chuyển qua bus, nên nó cải thiện cả bài toán tính toán lẫn bài toán băng thông cùng lúc. A100 hoàn toàn không có FP8 ở mức phần cứng. Mọi thư viện chạy FP8 trên Ampere đều phải mô phỏng qua INT8 kèm chuyển đổi, và thường chậm hơn là nhanh hơn.

Trong thực tế đo tại các dự án chúng tôi triển khai, huấn luyện tiếp một mô hình 7B trên H100 với FP8 qua Transformer Engine nhanh hơn cùng công việc đó trên A100 ở BF16 khoảng 2,8 đến 3,5 lần cho mỗi GPU. Với inference batch lớn, khoảng cách vào khoảng 3 đến 4 lần. Nhưng nếu bạn chạy một mô hình cũ không tích hợp Transformer Engine, không dùng FlashAttention 2 hoặc 3, và giữ nguyên BF16, khoảng cách co lại chỉ còn 1,6 đến 2 lần. Phần mềm quyết định một nửa giá trị của phần cứng.

Bộ nhớ HBM3 và NVLink thế hệ 4

H100 SXM5 dùng 80 GB HBM3 với băng thông khoảng 3,35 TB/s, cao hơn 64 phần trăm so với 2,039 TB/s của A100 80GB SXM4. Bản H100 NVL ghép đôi nâng dung lượng lên 94 GB mỗi card với băng thông xấp xỉ 3,9 TB/s, được thiết kế riêng cho inference mô hình lớn. Bản H100 PCIe lại lùi về HBM2e với 80 GB và khoảng 2 TB/s, gần bằng A100 SXM. Đây là chi tiết dễ gây thất vọng nếu bạn đặt hàng bản PCIe mà kỳ vọng thông số của bản SXM.

NVLink thế hệ 4 trên H100 cung cấp 900 GB/s băng thông hai chiều mỗi GPU, so với 600 GB/s của NVLink thế hệ 3 trên A100. Kết hợp NVSwitch thế hệ 3, một hệ HGX 8 GPU cho phép mọi cặp GPU giao tiếp ở tốc độ đầy đủ. Với huấn luyện phân tán dùng tensor parallel, nơi mỗi lớp phải all-reduce activation qua tất cả GPU, mức tăng 50 phần trăm băng thông liên kết chuyển thẳng thành giảm thời gian mỗi bước. Trên các mô hình từ 70 tỷ tham số trở lên, phần giao tiếp có thể chiếm 25 đến 40 phần trăm thời gian huấn luyện.

Hopper còn bổ sung khả năng phân vùng bảo mật Confidential Computing ở mức GPU, mã hoá dữ liệu trong bộ nhớ và trên đường truyền PCIe. Với các tổ chức tài chính hoặc y tế phải chứng minh dữ liệu không bị lộ trong quá trình xử lý, đây là tính năng A100 không có và không thể bổ sung bằng phần mềm. Tôi đã thấy tính năng này một mình quyết định lựa chọn phần cứng ở hai dự án ngân hàng, bất kể phần so sánh hiệu năng nói gì.

• H100 SXM: 80 GB HBM3, băng thông khoảng 3,35 TB/s.
• H100 NVL: 94 GB mỗi card, khoảng 3,9 TB/s, tối ưu cho inference.
• H100 PCIe dùng HBM2e khoảng 2 TB/s, thấp hơn hẳn bản SXM.
• NVLink thế hệ 4 đạt 900 GB/s mỗi GPU so với 600 GB/s trên A100.
• Hopper hỗ trợ Confidential Computing mã hoá bộ nhớ GPU, A100 không có.

Điện, làm mát và giới hạn của phòng máy Việt Nam

H100 SXM5 có TDP tới 700W, so với 400W của A100 40GB SXM4 và 500W của bản 80GB. Một hệ HGX 8 GPU H100 tiêu thụ khoảng 5,6 kW riêng cho GPU, cộng hai CPU Xeon hoặc EPYC, bộ nhớ, NVSwitch và quạt thì tổng công suất máy chạm mức 10 đến 10,5 kW. Đây là con số vượt xa thiết kế của phần lớn phòng máy doanh nghiệp tại Việt Nam, nơi mật độ phổ biến vẫn là 5 đến 8 kW cho cả một tủ rack 42U.

Hệ quả thực tế: bạn không thể đặt hai server HGX H100 trong cùng một rack tiêu chuẩn nếu không nâng cấp toàn bộ đường điện và hệ thống làm mát. Làm mát bằng khí vẫn khả thi ở mức 10 kW mỗi rack nếu có ngăn cách luồng nóng lạnh chuẩn và nhiệt độ cấp gió dưới 24 độ C, nhưng biên an toàn rất mỏng. Từ mức 15 kW mỗi rack trở lên, làm mát bằng chất lỏng trực tiếp tới chip gần như là bắt buộc, kéo theo chi phí hạ tầng có thể ngang bằng chi phí máy chủ.

Chi phí điện vận hành cũng không nhỏ. Một hệ 8 GPU H100 chạy liên tục ở 80 phần trăm tải tiêu thụ khoảng 73.500 kWh mỗi năm. Với giá điện kinh doanh trung bình khoảng 3.000 đồng mỗi kWh, riêng tiền điện GPU đã hơn 220 triệu đồng một năm, chưa tính hệ số PUE của hệ thống làm mát vốn thường thêm 40 đến 60 phần trăm. Khi lập bài toán đầu tư ba năm, phần điện và làm mát có thể chiếm 15 đến 20 phần trăm tổng chi phí sở hữu.

Chi phí mỗi token và phép tính thực sự quan trọng

So sánh giá card là cách so sánh sai. Chỉ số đúng là chi phí cho mỗi triệu token sinh ra, hoặc chi phí cho mỗi lần huấn luyện hoàn tất. H100 SXM có giá tham chiếu khoảng 30.000 đến 40.000 USD mỗi card trong hệ HGX, cao hơn A100 80GB khoảng 2 đến 2,5 lần. Nếu H100 nhanh hơn 3 lần trên workload của bạn, chi phí phần cứng cho mỗi đơn vị công việc thực chất thấp hơn khoảng 20 đến 35 phần trăm dù giá mua cao hơn nhiều.

Nhưng phép tính đó chỉ đúng khi bạn dùng hết công suất. Một hệ H100 chạy ở 30 phần trăm tải trung bình sẽ đắt hơn hẳn một hệ A100 chạy ở 80 phần trăm tải. Đây là sai lầm phổ biến nhất tôi chứng kiến: doanh nghiệp mua phần cứng đầu bảng cho một khối lượng công việc mới chỉ ở giai đoạn thử nghiệm, rồi để GPU nhàn rỗi phần lớn thời gian. Trước khi ký hợp đồng, hãy trả lời được câu hỏi tỷ lệ tận dụng dự kiến trong mười hai tháng tới là bao nhiêu.

Yếu tố thứ ba là thời gian. Nếu việc rút ngắn một chu kỳ huấn luyện từ mười ngày xuống ba ngày cho phép đội của bạn chạy gấp ba số thí nghiệm mỗi quý, giá trị kinh doanh của tốc độ vượt xa phần chênh lệch chi phí phần cứng. Ngược lại nếu mô hình chỉ huấn luyện lại mỗi quý một lần và inference là phần chiếm 95 phần trăm khối lượng, thì tối ưu cho inference với card rẻ hơn và nhiều hơn thường là lựa chọn khôn ngoan.

• Đo bằng chi phí mỗi triệu token, không phải bằng giá mua mỗi card.
• H100 SXM đắt hơn A100 80GB khoảng 2 đến 2,5 lần về giá mua.
• Nếu nhanh hơn 3 lần, chi phí mỗi đơn vị công việc giảm 20 đến 35 phần trăm.
• Hệ H100 chạy dưới 40 phần trăm tải sẽ đắt hơn hệ A100 chạy đủ tải.
• Xác định tỷ lệ tận dụng dự kiến 12 tháng trước khi quyết định đầu tư.

Khi nào A100 vẫn là quyết định đúng

A100 vẫn hợp lý ở ba nhóm tình huống rõ ràng. Thứ nhất là inference mô hình vừa và nhỏ, dưới 34 tỷ tham số, phục vụ tải ổn định và có thể dự báo. Ở đây yếu tố quyết định là tổng VRAM và tổng băng thông trên toàn cụm, không phải hiệu năng đỉnh của một card. Ba card A100 80GB thường rẻ hơn một card H100 SXM và cung cấp 240 GB VRAM so với 80 GB, phục vụ được nhiều người dùng đồng thời hơn hẳn.

Thứ hai là các workload không phải transformer. Mô phỏng khoa học dùng FP64, huấn luyện mạng tích chập cho ảnh y tế, mô hình đồ thị, hệ thống gợi ý dựa trên embedding lớn: những bài toán này không hưởng lợi từ Transformer Engine và FP8. Mức tăng thực tế khi lên H100 chỉ vào khoảng 1,5 đến 2 lần, khó biện minh cho mức giá gấp đôi cộng chi phí nâng cấp hạ tầng điện.

Thứ ba là các tổ chức có ràng buộc hạ tầng cứng. Nếu phòng máy của bạn giới hạn ở 6 kW mỗi rack và việc nâng cấp đòi hỏi cải tạo toàn bộ hệ thống điện của toà nhà, thì một cụm A100 PCIe với TDP 300W mỗi card là con đường thực tế duy nhất trong hai đến ba năm tới. Chúng tôi thường tư vấn khách trong tình huống này lắp A100 tại chỗ cho dữ liệu nhạy cảm, và thuê H100 theo giờ trên cloud cho các đợt huấn luyện lớn không thường xuyên.

Checklist quyết định nâng cấp

Trước khi ra quyết định, hãy trả lời sáu câu hỏi sau bằng số liệu chứ không bằng cảm tính. Tỷ lệ tận dụng GPU trung bình trong ba tháng gần nhất là bao nhiêu phần trăm, đo bằng DCGM hoặc Prometheus. Workload chính là huấn luyện hay inference, và tỷ lệ giữa hai loại. Kích thước mô hình lớn nhất bạn sẽ chạy trong mười hai tháng tới. Công suất điện và năng lực làm mát khả dụng của mỗi rack. Stack phần mềm hiện tại có hỗ trợ FP8 và FlashAttention hay không. Và ngân sách vận hành hàng năm cho điện.

Nếu tỷ lệ tận dụng dưới 50 phần trăm, câu trả lời gần như luôn là tối ưu phần mềm và lịch trình trước, chưa mua phần cứng mới. Nâng cấp từ transformers thuần lên vLLM hoặc TensorRT-LLM có thể tăng throughput inference hai đến bốn lần trên chính phần cứng A100 đang có, với chi phí bằng vài tuần công của một kỹ sư. Đó là khoản đầu tư có tỷ suất hoàn vốn cao nhất mà tôi biết trong lĩnh vực này.

Nếu tỷ lệ tận dụng vượt 70 phần trăm, workload là huấn luyện hoặc fine-tune mô hình transformer từ 34B trở lên, và phòng máy chịu được trên 10 kW mỗi rack, thì H100 là lựa chọn đúng và nên đi thẳng bản SXM trong hệ HGX thay vì bản PCIe. Nếu bạn đang ở giữa hai vùng này, hãy chạy PoC ba mươi ngày trên cả hai nền tảng với đúng dữ liệu của mình. HQG cho thuê cả hệ A100 và H100 theo tháng tại ba văn phòng TP.HCM, Đà Nẵng và Hà Nội, kèm khảo sát tải điện tại chỗ trước khi bạn cam kết ngân sách đầu tư.

• Đo tỷ lệ tận dụng GPU ba tháng gần nhất bằng DCGM trước mọi quyết định.
• Dưới 50 phần trăm tận dụng: tối ưu phần mềm trước, chưa mua phần cứng.
• Chuyển sang vLLM hoặc TensorRT-LLM có thể tăng throughput 2 đến 4 lần trên A100 sẵn có.
• Trên 70 phần trăm tận dụng và mô hình từ 34B trở lên: chọn H100 SXM.
• Kiểm tra công suất rack chịu được 10 kW trở lên trước khi đặt hệ HGX.