NVIDIA L40S: GPU AI đa dụng tối ưu chi phí cho doanh nghiệp vừa

L40S là con gì trong danh mục của NVIDIA

L40S dựa trên nhân AD102 của kiến trúc Ada Lovelace, sản xuất trên tiến trình TSMC 4N, với 18.176 nhân CUDA, 568 Tensor Core thế hệ 4 và 142 RT Core thế hệ 3. Card trang bị 48 GB GDDR6 có ECC, băng thông khoảng 864 GB/s trên bus 384 bit. TDP là 350W, thiết kế dual-slot cao đầy đủ, tản nhiệt passive dành cho server, giao tiếp PCIe Gen4 x16. Đây là card kế nhiệm dòng A40 và được NVIDIA định vị là giải pháp đa dụng thay vì chuyên biệt cho huấn luyện.

Về năng lực tính toán, L40S đạt khoảng 91,6 TFLOPS FP32, 362 TFLOPS BF16 và FP16 Tensor Core dạng dense, và 733 TFLOPS FP8 dạng dense qua Transformer Engine. Con số FP8 này đáng chú ý: nó bằng khoảng 37 phần trăm năng lực FP8 của H100 SXM nhưng giá chỉ bằng khoảng một phần tư. Với inference, đó là tỷ lệ hiệu năng trên giá rất khó bị đánh bại trong phân khúc dưới 10.000 USD mỗi card.

Điểm khác biệt lớn nhất so với dòng data center thuần tính toán là L40S giữ nguyên toàn bộ khối đồ hoạ và media. Card có ba bộ NVENC và ba bộ NVDEC hỗ trợ mã hoá AV1, cùng đầy đủ RT Core cho ray tracing. Nghĩa là một card duy nhất có thể vừa chạy inference mô hình ngôn ngữ, vừa transcode luồng video, vừa phục vụ máy trạm ảo đồ hoạ. Không dòng card nào khác của NVIDIA làm được cả ba việc đó cùng lúc ở mức giá tương đương.

• AD102 Ada Lovelace với 18.176 nhân CUDA và 568 Tensor Core thế hệ 4.
• 48 GB GDDR6 ECC, băng thông khoảng 864 GB/s trên bus 384 bit.
• TDP 350W, dual-slot, passive, PCIe Gen4 x16.
• 733 TFLOPS FP8 dense, khoảng 37 phần trăm năng lực FP8 của H100 SXM.
• Ba bộ NVENC và ba bộ NVDEC hỗ trợ AV1, cùng 142 RT Core.

GDDR6 so với HBM: đánh đổi phải hiểu rõ

Băng thông 864 GB/s của L40S bằng khoảng 42 phần trăm so với A100 80GB HBM2e ở 2.039 GB/s và chỉ khoảng 26 phần trăm so với H100 SXM HBM3 ở 3.350 GB/s. Đây là giới hạn cứng, không phần mềm nào vượt qua được. Với giai đoạn decode của mô hình ngôn ngữ vốn bị giới hạn bởi bộ nhớ, một mô hình 13B ở FP16 chiếm 26 GB sẽ cho trần lý thuyết khoảng 33 token mỗi giây trên L40S so với 78 trên A100 80GB.

Nhưng đây là chỗ lượng tử hoá thay đổi cuộc chơi. Cùng mô hình 13B ở INT4 hoặc FP8 chỉ còn 7 đến 13 GB, giảm lưu lượng bộ nhớ mỗi bước xuống bốn lần, đưa trần lý thuyết lên trên 120 token mỗi giây. Vì L40S hỗ trợ FP8 ở mức phần cứng còn A100 thì không, khoảng cách thực tế giữa hai card trên inference đã lượng tử hoá thu hẹp đáng kể, thậm chí đảo chiều ở một số kịch bản batch nhỏ độ trễ thấp.

Đổi lại, GDDR6 rẻ hơn HBM rất nhiều và cho phép NVIDIA đặt 48 GB trên một card giá phải chăng. Với inference, dung lượng thường quan trọng hơn băng thông vì nó quyết định bạn nạp được mô hình nào và phục vụ bao nhiêu phiên đồng thời. Ba card L40S cho 144 GB VRAM tổng với chi phí thấp hơn một card H100 80GB. Nếu bài toán là phục vụ nhiều mô hình vừa cho nhiều phòng ban, phép tính này rất khó cãi.

Không có NVLink: hệ quả và cách khắc phục

L40S không hỗ trợ NVLink. Mọi giao tiếp giữa các GPU phải đi qua PCIe Gen4 x16, tức khoảng 32 GB/s hai chiều, so với 900 GB/s của NVLink thế hệ 4 trên H100. Khoảng cách gần ba mươi lần này khiến tensor parallelism, kỹ thuật chia từng lớp của mô hình qua nhiều GPU và all-reduce sau mỗi lớp, trở nên rất kém hiệu quả. Với mô hình 70B chia qua bốn card L40S theo tensor parallel, thời gian giao tiếp có thể chiếm hơn nửa tổng thời gian mỗi bước.

Cách khắc phục là chọn đúng chiến lược song song. Với inference, hãy ưu tiên nạp trọn một mô hình vào một card và nhân bản mô hình đó trên các card còn lại, tức data parallel ở mức replica. Bộ cân bằng tải phân phối yêu cầu tới các replica, và vì các replica hoàn toàn độc lập nên PCIe gần như không bị đụng tới. Cách này cho throughput tổng tăng gần tuyến tính theo số card, đồng thời tăng độ sẵn sàng vì một card hỏng không làm sập cả dịch vụ.

Khi mô hình quá lớn cho một card, hãy dùng pipeline parallel thay vì tensor parallel. Pipeline chia mô hình theo lớp, mỗi GPU giữ một nhóm lớp liên tiếp và chỉ truyền activation của ranh giới giữa các nhóm, tức lưu lượng nhỏ hơn hàng chục lần. vLLM hỗ trợ pipeline parallel qua tham số pipeline-parallel-size và đây là cấu hình chúng tôi khuyên dùng cho cụm L40S nhiều card. Chấp nhận độ trễ token đầu tiên cao hơn một chút để đổi lấy throughput tốt.

• L40S không có NVLink, mọi liên kết GPU đi qua PCIe Gen4 khoảng 32 GB/s.
• Tensor parallel kém hiệu quả, tránh dùng cho cụm L40S nhiều card.
• Ưu tiên nhân bản mô hình trên từng card và cân bằng tải ở tầng ứng dụng.
• Với mô hình quá lớn, dùng pipeline parallel để giảm lưu lượng liên GPU.
• vLLM hỗ trợ pipeline-parallel-size, cấu hình phù hợp nhất cho L40S.

Inference LLM từ 7B tới 70B: cấu hình thực tế

Với 48 GB VRAM, một card L40S nạp thoải mái mô hình 7B hoặc 8B ở FP16 chiếm 14 đến 16 GB, còn dư hơn 30 GB cho KV cache, tức phục vụ được khoảng ba mươi phiên context 8K đồng thời. Đây là điểm ngọt của card cho trợ lý nội bộ doanh nghiệp. Mô hình 13B ở FP16 chiếm 26 GB vẫn vừa một card với khoảng 20 GB cache còn lại, đủ cho mười lăm đến hai mươi phiên.

Nhóm mô hình 34B ở FP8 chiếm khoảng 34 GB, vừa một card nhưng chỉ còn 12 GB cho cache, phù hợp cho tải nhỏ hoặc xử lý theo lô. Mô hình 70B là ranh giới thú vị: ở AWQ hoặc GPTQ 4 bit, trọng số chiếm khoảng 38 đến 40 GB và vừa vặn một card L40S đơn, tuy chỉ còn chừng 6 GB cho cache nên chỉ chạy được vài phiên context ngắn. Cấu hình thực dụng hơn là hai card L40S chạy pipeline parallel với mô hình 70B ở FP8, cho 96 GB tổng và không gian cache thoải mái.

Về hiệu năng đo đạc, chúng tôi thấy một card L40S phục vụ mô hình 8B ở FP8 qua vLLM đạt khoảng 1.400 đến 1.800 token đầu ra mỗi giây ở chế độ batch liên tục với ba mươi hai luồng đồng thời. Với mô hình 70B AWQ trên hai card, con số rơi vào 180 đến 240 token mỗi giây. Những mức này đủ cho một doanh nghiệp vài trăm nhân sự dùng trợ lý nội bộ, tra cứu tài liệu và tóm tắt văn bản mà không phải gửi dữ liệu ra ngoài.

Một card, ba khối lượng công việc

Giá trị độc đáo của L40S nằm ở khả năng phục vụ đồng thời AI, đồ hoạ và media. Với NVIDIA vGPU, một card 48 GB có thể chia thành nhiều máy trạm ảo cho nhóm thiết kế, chẳng hạn tám phiên profile 6 GB cho công việc CAD và dựng hình phổ thông, hoặc bốn phiên 12 GB cho công việc nặng hơn. Các RT Core đầy đủ cho phép ray tracing thời gian thực trong SolidWorks, Revit hay Blender, điều mà A100 không làm được vì thiếu hoàn toàn khối đồ hoạ.

Ba bộ NVENC hỗ trợ AV1 mở ra ứng dụng thứ hai. Một card L40S transcode được vài chục luồng 1080p đồng thời, phục vụ hệ thống camera giám sát, nền tảng đào tạo trực tuyến hoặc dịch vụ phát trực tuyến nội bộ. Kết hợp với DeepStream, bạn chạy được cả pipeline phân tích video: decode luồng camera bằng NVDEC, chạy mô hình phát hiện đối tượng trên Tensor Core, rồi encode lại bằng NVENC, toàn bộ trong VRAM mà không phải copy về RAM hệ thống.

Trong thực tế triển khai, cách phân bổ hợp lý nhất là dùng lịch trình theo thời gian thay vì chia tĩnh. Ban ngày ưu tiên vGPU cho đội thiết kế và inference cho trợ lý nội bộ; ban đêm giải phóng toàn bộ card cho các job xử lý lô, fine-tune LoRA hoặc render hàng loạt. Chỉ riêng việc chuyển từ chia tĩnh sang lịch trình động đã nâng tỷ lệ tận dụng từ khoảng 35 phần trăm lên trên 70 phần trăm ở một dự án chúng tôi làm cho công ty kiến trúc tại TP.HCM.

• vGPU chia một card 48 GB thành 8 phiên 6 GB hoặc 4 phiên 12 GB.
• RT Core đầy đủ cho ray tracing thời gian thực, A100 hoàn toàn không có.
• Ba bộ NVENC hỗ trợ AV1, transcode hàng chục luồng 1080p đồng thời.
• DeepStream chạy trọn pipeline decode, phân tích, encode trong VRAM.
• Lịch trình động ngày và đêm nâng tỷ lệ tận dụng từ 35 lên trên 70 phần trăm.

Mật độ trong server 2U và bài toán làm mát

Với TDP 350W và thiết kế dual-slot, L40S dễ tích hợp hơn hẳn các card 700W. Dell PowerEdge R760xa chứa được bốn card L40S trong khung 2U, HPE ProLiant DL380a Gen11 cũng hỗ trợ cấu hình bốn card tương tự. Tổng công suất GPU là 1,4 kW, cộng hai CPU và hệ thống còn lại thì máy tiêu thụ khoảng 2,2 đến 2,6 kW. Con số này nằm trong khả năng của hầu hết phòng máy doanh nghiệp Việt Nam mà không cần cải tạo hạ tầng điện.

Nếu cần mật độ cao hơn, các nền tảng 4U như Supermicro SYS-421GE hỗ trợ tám tới mười card L40S, đưa tổng VRAM lên 384 tới 480 GB trong một khung máy. Đây là cấu hình rất hiệu quả cho trung tâm inference tập trung. Lưu ý là ở mật độ này bạn cần nhiệt độ gió cấp vào dưới 25 độ C và lưu lượng gió cao, đồng thời phải bố trí ngăn cách luồng nóng lạnh chuẩn để tránh hồi lưu khí nóng.

Một chi tiết kỹ thuật hay bị bỏ sót là làn PCIe. Bốn card L40S ở Gen4 x16 cần 64 làn dành riêng, cộng thêm làn cho NVMe và card mạng 100GbE. Nền tảng CPU đơn AMD EPYC với 128 làn xử lý thoải mái, nhưng cấu hình Intel Xeon hai socket cần kiểm tra sơ đồ phân bổ làn của bo mạch để tránh việc GPU chạy ở x8, giảm một nửa băng thông. Với cụm nhiều card dùng pipeline parallel, đây là thứ ảnh hưởng trực tiếp tới độ trễ.

So với A100 và L4: chọn card nào cho việc gì

So với A100 80GB, L40S có ít VRAM hơn 40 phần trăm và băng thông thấp hơn 58 phần trăm, nhưng có FP8, có khối đồ hoạ, có NVENC, tiêu thụ ít điện hơn và giá chỉ bằng khoảng một phần ba. Nếu công việc chính là huấn luyện hoặc fine-tune quy mô lớn với tensor parallel, A100 vẫn thắng nhờ NVLink và băng thông HBM. Nếu công việc chính là inference, đồ hoạ ảo và xử lý media, L40S thắng gần như tuyệt đối về chi phí trên hiệu năng.

So với L4, câu chuyện lại khác về quy mô. L4 dùng AD104 với 24 GB GDDR6, băng thông khoảng 300 GB/s, TDP chỉ 72W và thiết kế single-slot low-profile không cần cấp nguồn phụ. L4 là card lý tưởng cho server biên, cho các máy 1U mật độ cao, và cho khối lượng công việc nhẹ như embedding, phân loại văn bản, transcode video hoặc chạy mô hình dưới 7B đã lượng tử hoá. L40S mạnh hơn L4 khoảng 2,5 tới 3 lần nhưng cũng tiêu thụ điện gấp gần năm lần.

Quy tắc chọn tôi vẫn dùng khi tư vấn: nếu mô hình lớn nhất của bạn dưới 7 tỷ tham số và mỗi máy chỉ có một hoặc hai khe PCIe low-profile, chọn L4. Nếu mô hình nằm trong khoảng 7B tới 70B, có nhu cầu đồ hoạ hoặc media kèm theo, và bạn có server 2U chuẩn, chọn L40S. Nếu bạn huấn luyện mô hình trên 70B từ đầu hoặc chạy tính toán FP64 khoa học, hãy nhìn sang A100 hoặc H100 chứ đừng cố ép L40S làm việc nó không được thiết kế để làm.

• L4: 24 GB GDDR6, khoảng 300 GB/s, TDP 72W, single-slot low-profile.
• L40S mạnh hơn L4 khoảng 2,5 tới 3 lần nhưng tốn điện gấp gần năm lần.
• A100 vẫn thắng ở huấn luyện quy mô lớn nhờ NVLink và băng thông HBM2e.
• L40S thắng rõ về chi phí trên hiệu năng ở inference, VDI và media.
• L40S không hỗ trợ FP64 tăng tốc, không dùng cho mô phỏng khoa học.

Khuyến nghị cấu hình và bước tiếp theo

Với doanh nghiệp từ 200 tới 800 nhân sự muốn triển khai trợ lý AI nội bộ trên hạ tầng riêng, cấu hình khởi điểm chúng tôi đề xuất là một server 2U với hai CPU từ 32 nhân trở lên, 512 GB RAM, hai card L40S, hai ổ NVMe 3,84 TB cho dữ liệu nóng và card mạng 25GbE. Cấu hình này chạy được một mô hình 70B lượng tử hoá hoặc hai mô hình 8B nhân bản, phục vụ vài trăm người dùng ở tần suất truy vấn thực tế, với tổng công suất dưới 2 kW.

Nếu có thêm nhu cầu máy trạm ảo cho đội thiết kế hoặc xử lý video, hãy tăng lên bốn card và bổ sung giấy phép NVIDIA vGPU. Tỷ lệ phân bổ hợp lý là hai card dành riêng cho inference chạy liên tục và hai card chia vGPU cho người dùng đồ hoạ. Đừng trộn hai loại tải trên cùng một card ở môi trường sản xuất, vì tranh chấp bộ nhớ sẽ tạo ra độ trễ khó dự đoán và rất khó gỡ khi có sự cố.

Bước tiếp theo nên là đo chứ không phải mua. Hãy lấy một trăm câu truy vấn thật từ người dùng nội bộ, chạy thử trên một card L40S thuê theo tháng, và ghi lại ba chỉ số: độ trễ token đầu tiên, throughput ở tải đỉnh, và tỷ lệ yêu cầu bị xếp hàng quá năm giây. Nếu ba chỉ số đó đạt, bạn đã có cơ sở vững chắc để trình phương án đầu tư. HQG cho thuê L40S theo tháng kèm dựng sẵn vLLM và bộ đo hiệu năng, giúp rút ngắn giai đoạn thử nghiệm còn hai tuần. Hotline 1900 636 106.