Chi phí thật khi tự chạy LLM nội bộ so với gọi API

Hai mô hình chi phí hoàn toàn khác nhau

Khi doanh nghiệp bàn chuyện triển khai AI tạo sinh, cuộc tranh luận thường bị rút gọn thành mua GPU hay gọi API. Thực tế đây là hai cấu trúc tài chính khác hẳn nhau. Gọi API là chi phí biến đổi thuần: trả theo token, dùng bao nhiêu trả bấy nhiêu, không có tài sản, không có rủi ro tồn kho công nghệ. Tự chạy nội bộ là một khoản đầu tư vốn lớn ngay từ đầu, sau đó chi phí biên trên mỗi token gần như chỉ còn điện và khấu hao. Hai đường chi phí này cắt nhau tại một điểm, và mọi quyết định đúng đắn đều bắt đầu bằng việc xác định điểm cắt đó nằm ở đâu với chính khối lượng công việc của bạn.

Sai lầm phổ biến nhất là so sánh giá thuê GPU theo giờ với giá API theo triệu token mà không quy về cùng một đơn vị. Giá GPU chỉ có nghĩa khi bạn biết máy đó sinh ra bao nhiêu token mỗi giây ở mức đồng thời thực tế, chứ không phải con số quảng cáo trong điều kiện batch lý tưởng. Một cụm chạy ở mức sử dụng 12 phần trăm suốt ngày vẫn tiêu điện, vẫn khấu hao, vẫn cần người trực. Chi phí thật của một triệu token nội bộ vì thế phụ thuộc vào mức tải trung bình nhiều hơn là vào cấu hình phần cứng.

Khung phân tích nên dùng là tổng chi phí sở hữu ba năm, chia cho tổng số token dự kiến xử lý trong ba năm đó. Mẫu số này mới là biến quyết định. Doanh nghiệp xử lý 30 triệu token mỗi tháng và doanh nghiệp xử lý 3 tỷ token mỗi tháng nhận được hai kết luận trái ngược từ cùng một bảng giá phần cứng. Trước khi ký bất kỳ đơn hàng GPU nào, hãy đo lượng token thực tế trong ba mươi ngày liên tục bằng API, vì đó là dữ liệu đầu vào chính xác nhất bạn có thể có.

CAPEX thật sự gồm những gì

Nhiều bản dự toán chỉ tính tiền card GPU rồi dừng lại, và đó là lý do dự án AI nội bộ thường vỡ ngân sách 40 đến 60 phần trăm. Một node inference nghiêm túc cần thân máy hai socket hỗ trợ đủ lane PCIe Gen5, CPU đủ mạnh để không nghẽn khâu tokenize và tiền xử lý, RAM hệ thống thường gấp đôi tổng VRAM, ổ NVMe dung lượng lớn để chứa trọng số nhiều mô hình, card mạng tốc độ cao nếu chạy nhiều node, cùng bộ nguồn dự phòng công suất đủ dư. Riêng phần thân máy và linh kiện phụ trợ đã chiếm 25 đến 40 phần trăm giá trị một node GPU điển hình.

Phần hạ tầng phòng máy còn hay bị bỏ quên hơn nữa. Một node GPU cỡ trung có thể kéo 3 đến 6 kW liên tục, trong khi rack văn phòng phổ thông thường chỉ được thiết kế cho 3 đến 5 kW cho toàn bộ tủ. Bạn sẽ phải nâng cấp đường điện, bổ sung UPS công suất tương ứng, tính lại tải điều hoà và bố trí luồng khí nóng lạnh tách biệt. Chi phí cải tạo phòng server cho hai đến bốn node GPU tại Việt Nam thường rơi vào khoảng vài trăm triệu đồng, chưa kể thời gian thi công và gián đoạn vận hành.

Cuối cùng là chi phí vốn theo nghĩa tài chính. Tiền bỏ ra mua thiết bị là tiền không còn dùng cho việc khác. Nếu doanh nghiệp đang vay vốn lưu động lãi suất 8 đến 10 phần trăm mỗi năm, khoản đầu tư hai tỷ đồng cho cụm GPU mang theo chi phí cơ hội khoảng 160 đến 200 triệu đồng mỗi năm. Con số này phải nằm trong bảng tính, nếu không bạn đang so sánh một mô hình có chi phí vốn với một mô hình không có.

• Thân máy 2U hai socket hỗ trợ GPU, nguồn dự phòng: chiếm 25 đến 40 phần trăm giá node
• RAM hệ thống nên gấp khoảng hai lần tổng VRAM để nạp và hoán đổi trọng số mượt
• NVMe từ 4 TB trở lên nếu lưu nhiều biến thể mô hình và cache KV tràn
• Nâng cấp điện, UPS và điều hoà cho tải 3 đến 6 kW mỗi node
• Chi phí cơ hội của vốn: 8 đến 10 phần trăm mỗi năm trên tổng đầu tư

Điện và làm mát tính theo giá Việt Nam

Điện là khoản chi vận hành lớn nhất và cũng dễ tính chính xác nhất. Giá điện kinh doanh và sản xuất tại Việt Nam hiện dao động quanh 1.900 đến 3.300 đồng mỗi kWh tuỳ khung giờ và cấp điện áp, tính trung bình có trọng số thường rơi vào khoảng 2.400 đến 2.700 đồng. Một node tiêu thụ trung bình 4 kW chạy liên tục cả năm tiêu khoảng 35.000 kWh, tương đương 85 đến 95 triệu đồng tiền điện cho riêng thiết bị. Đây là con số cố định, không phụ thuộc bạn có thực sự dùng hết công suất tính toán hay không.

Trên đó phải nhân thêm hệ số PUE, tức tỷ lệ giữa tổng điện tiêu thụ của phòng máy và điện thực sự vào thiết bị IT. Trung tâm dữ liệu chuyên nghiệp đạt PUE 1,4 đến 1,6. Phòng server tự dựng trong văn phòng, dùng điều hoà dân dụng, không có ngăn luồng khí, thường chạy ở mức 1,8 đến 2,2. Với PUE 2,0, hoá đơn điện thực tế cho node 4 kW nói trên lên tới 170 đến 190 triệu đồng mỗi năm. Chênh lệch giữa PUE 1,5 và PUE 2,0 trên một cụm bốn node là hơn 150 triệu đồng mỗi năm, đủ để bù chi phí thuê chỗ đặt tại một trung tâm dữ liệu đạt chuẩn.

Khuyến nghị thực tế: nếu bạn dự định vận hành từ hai node GPU trở lên, hãy so sánh nghiêm túc phương án thuê tủ rack tại datacenter thay vì cải tạo phòng máy nội bộ. Ngoài PUE tốt hơn, bạn còn có điện dự phòng máy phát, làm mát thiết kế cho mật độ cao, và không phải chịu rủi ro mất điện diện rộng làm hỏng thiết bị. HQG thường khảo sát cả hai phương án cho khách trước khi chốt cấu hình, vì kết luận thay đổi rất nhiều theo địa điểm cụ thể.

Throughput thực đo mới là mẫu số

Toàn bộ bài toán quy về một câu hỏi: một node của bạn sinh được bao nhiêu token mỗi giây trong điều kiện sản xuất. Với vLLM và kỹ thuật continuous batching, một mô hình cỡ 8 tỷ tham số lượng tử hoá chạy trên một GPU tầm trung có thể đạt vài nghìn token mỗi giây khi có đủ yêu cầu đồng thời, nhưng chỉ vài chục đến trăm token mỗi giây cho một yêu cầu đơn lẻ. Khác biệt giữa hai con số này lên tới hai chữ số lần, và nó quyết định toàn bộ kết luận kinh tế.

Điểm mấu chốt là batching chỉ hiệu quả khi có tải đồng thời. Ứng dụng nội bộ phục vụ 200 nhân viên trong giờ hành chính có đặc trưng tải rất gợn sóng: cao điểm ngắn buổi sáng, gần như bằng không ban đêm và cuối tuần. Nếu bạn quy đổi ra mức sử dụng trung bình cả tháng, nhiều triển khai thực tế chỉ đạt 10 đến 20 phần trăm công suất lý thuyết. Nghĩa là chi phí trên mỗi triệu token thực tế cao gấp năm đến mười lần con số bạn tính từ throughput đỉnh.

Cách kiểm chứng đúng đắn là chạy thử tải bằng chính prompt và độ dài đầu ra của ứng dụng thật, đo trên ba mức đồng thời khác nhau, ghi lại cả token mỗi giây lẫn độ trễ token đầu tiên. Độ dài ngữ cảnh là biến ảnh hưởng rất mạnh: prompt 8.000 token tiêu tốn bộ nhớ cache KV nhiều hơn hẳn prompt 500 token, làm giảm số yêu cầu chạy song song được. Đừng lấy benchmark trên mạng làm cơ sở đầu tư.

• Đo throughput ở ba mức đồng thời: 1, 16 và 64 yêu cầu song song
• Ghi cả token mỗi giây tổng và độ trễ token đầu tiên, vì trải nghiệm người dùng phụ thuộc cả hai
• Dùng đúng độ dài prompt và đầu ra của ứng dụng thật, không dùng mẫu ngắn
• Tính mức sử dụng trung bình theo tháng, không theo giờ cao điểm
• Lượng tử hoá xuống 8 hoặc 4 bit thường tăng throughput 1,5 đến 3 lần, cần kiểm tra lại chất lượng đầu ra

Nhân sự vận hành, khoản chi bị đánh giá thấp nhất

Cụm GPU không tự vận hành. Bạn cần người biết cài driver và CUDA đúng phiên bản, quản lý container, cập nhật vLLM hoặc TensorRT-LLM, xử lý lỗi tràn bộ nhớ, theo dõi nhiệt độ và throttling, dựng giám sát, quản lý phiên bản mô hình, và xử lý sự cố lúc hai giờ sáng khi dịch vụ nội bộ ngừng đáp ứng. Một kỹ sư MLOps có năng lực thật tại TP.HCM hoặc Hà Nội hiện có chi phí toàn phần khoảng 480 đến 900 triệu đồng mỗi năm. Để có khả năng ứng cứu liên tục, bạn cần ít nhất một người rưỡi tương đương toàn thời gian.

Chi phí nhân sự này thường một mình đã lớn hơn toàn bộ hoá đơn API của các doanh nghiệp quy mô vừa. Đây là lý do vì sao nhiều dự án tự chủ AI ở Việt Nam dừng lại sau mười tám tháng: phần cứng vẫn chạy, nhưng người duy nhất hiểu hệ thống đã nghỉ việc, và không ai dám nâng cấp gì thêm. Rủi ro phụ thuộc cá nhân là rủi ro vận hành nghiêm trọng, cần được ghi rõ trong hồ sơ đánh giá chứ không nên bỏ qua.

Nếu tổ chức của bạn chưa có ít nhất hai người thành thạo Linux, container và mạng, thì kết luận kinh tế gần như chắc chắn nghiêng về API hoặc về mô hình thuê hạ tầng có kèm dịch vụ vận hành. Mua phần cứng là phần dễ nhất trong toàn bộ dự án. Phần khó nằm ở việc giữ hệ thống chạy ổn định sau tháng thứ ba, khi phiên bản driver lệch nhau, khi mô hình mới ra đời và khi người duy nhất biết cấu hình xin nghỉ việc. Hãy tính chi phí nhân sự vận hành theo mức lương thị trường thật, cộng thêm chi phí thay thế khi họ rời đi, rồi mới đặt lên bàn cân với hoá đơn API hàng tháng.

Điểm hoà vốn theo khối lượng token

Ghép các con số lại, bức tranh khá rõ. Giả sử một node GPU tầm trung có tổng chi phí sở hữu ba năm khoảng 1,8 đến 2,5 tỷ đồng gồm thiết bị, điện với PUE 1,7, chỗ đặt và phân bổ nhân sự. Nếu node đó đạt mức sử dụng trung bình 25 phần trăm, tổng sản lượng ba năm rơi vào khoảng vài chục tỷ token. Chi phí trên mỗi triệu token nội bộ khi đó nằm ở vùng vài chục nghìn đồng, cạnh tranh được với API tầm trung nhưng vẫn đắt hơn các mô hình nhỏ giá rẻ trên thị trường.

Kinh nghiệm triển khai cho thấy ngưỡng đảo chiều thường xuất hiện quanh mức vài trăm triệu đến khoảng một tỷ token mỗi tháng, với điều kiện tải phân bố tương đối đều và đội vận hành đã có sẵn. Dưới ngưỡng đó, API gần như luôn rẻ hơn khi tính đủ chi phí. Trên ngưỡng đó, lợi thế nghiêng dần về hạ tầng riêng, và càng rõ nếu khối lượng còn tăng. Con số cụ thể phụ thuộc mô hình bạn chọn và giá API tại thời điểm mua, nên hãy tính lại bằng dữ liệu của chính mình.

Một biến nữa thường bị bỏ qua: giá API đang giảm nhanh hơn tốc độ khấu hao phần cứng. Thiết bị bạn mua hôm nay được khấu hao ba đến năm năm với giá cố định, trong khi đơn giá token trên thị trường đã giảm nhiều lần chỉ trong hai năm gần đây. Điểm hoà vốn tính hôm nay có thể lùi xa hơn sau mười hai tháng. Hãy đưa kịch bản giá API giảm 30 phần trăm vào bảng tính độ nhạy trước khi ký hợp đồng.

• Dưới khoảng 100 triệu token mỗi tháng: gọi API gần như luôn rẻ hơn khi tính đủ chi phí
• Từ vài trăm triệu đến một tỷ token mỗi tháng: vùng giao nhau, cần tính chi tiết theo từng trường hợp
• Trên một tỷ token mỗi tháng và tải đều: hạ tầng riêng có lợi thế rõ
• Luôn chạy kịch bản giá API giảm 30 phần trăm sau mười hai tháng
• Nếu tải chỉ tập trung 8 giờ hành chính, nhân chi phí thực tế lên khoảng ba lần

Dữ liệu nhạy cảm và yếu tố tuân thủ

Có những trường hợp bài toán không còn thuần kinh tế. Doanh nghiệp xử lý hồ sơ bệnh án, dữ liệu định danh khách hàng, hồ sơ tín dụng hoặc thông tin sản xuất thuộc diện bí mật kinh doanh có thể bị ràng buộc bởi yêu cầu lưu trữ và xử lý dữ liệu trong nước, hoặc bởi chính sách nội bộ của tập đoàn mẹ. Khi đó, chi phí không phải yếu tố quyết định mà là ràng buộc bắt buộc, và mô hình nội bộ trở thành lựa chọn duy nhất khả thi.

Tuy vậy đừng nhầm lẫn giữa yêu cầu tuân thủ thật và nỗi lo mơ hồ. Nhiều nhà cung cấp API lớn đã có cam kết không dùng dữ liệu đầu vào để huấn luyện, có tuỳ chọn vùng lưu trữ, có chứng chỉ bảo mật độc lập, và cho phép ký thoả thuận xử lý dữ liệu. Trước khi chi vài tỷ đồng cho hạ tầng riêng, hãy để bộ phận pháp chế đọc kỹ điều khoản và xác định chính xác điều gì bị cấm. Nhiều dự án tự chủ được khởi động vì hiểu nhầm chứ không vì quy định.

Phương án trung gian đáng cân nhắc là chỉ đưa về nội bộ những luồng chạm dữ liệu nhạy cảm, ví dụ trích xuất thông tin từ hợp đồng hoặc phân loại hồ sơ khách hàng, còn các tác vụ chung như soạn thảo, tóm tắt tài liệu công khai hay hỗ trợ lập trình thì tiếp tục dùng API. Cách chia này thường giảm quy mô hạ tầng cần mua xuống một phần ba so với phương án đưa tất cả về nội bộ.

Mô hình lai và khuyến nghị hành động

Với phần lớn doanh nghiệp Việt Nam quy mô vừa, cấu trúc hợp lý nhất là lai. Một node GPU nhỏ chạy mô hình nguồn mở cỡ 7 đến 14 tỷ tham số để xử lý các tác vụ khối lượng lớn, lặp lại, độ khó thấp như phân loại, trích xuất trường dữ liệu, nhúng vector cho tìm kiếm nội bộ. Các tác vụ đòi hỏi suy luận phức tạp, ngữ cảnh dài hoặc chất lượng đầu ra cao thì gọi API. Cách này giữ được chi phí biên thấp ở phần chiếm phần lớn khối lượng, đồng thời không phải đầu tư cho phần đòi hỏi mô hình lớn nhất.

Lộ trình triển khai nên theo ba bước. Bước một, chạy hoàn toàn bằng API trong sáu mươi đến chín mươi ngày, ghi log đầy đủ số token vào ra theo từng loại tác vụ. Bước hai, phân loại khối lượng theo độ khó và xác định phần nào mô hình nhỏ xử lý được với chất lượng chấp nhận. Bước ba, thuê một node GPU trong ba tháng để đo throughput thật trên chính khối lượng đó trước khi quyết định mua. Thuê trước khi mua là cách rẻ nhất để tránh sai lầm hàng tỷ đồng.

HQG cung cấp cả dịch vụ cho thuê máy chủ GPU ngắn hạn lẫn khảo sát điện, làm mát cho phòng server, nên nếu bạn đang ở bước ba của lộ trình trên, việc đo thật trước khi đầu tư hoàn toàn khả thi mà không phải cam kết vốn dài hạn. Nguyên tắc cuối cùng: đừng mua GPU vì một buổi demo ấn tượng. Hãy mua khi bảng tính token của chính bạn nói rằng nên mua.

• Ghi log token vào ra theo từng loại tác vụ trong ít nhất sáu mươi ngày
• Chuyển sang nội bộ các tác vụ khối lượng lớn, độ khó thấp trước
• Thuê node GPU ba tháng để đo throughput thật trước khi mua
• Đặt ngưỡng rõ ràng: chi phí mỗi triệu token nội bộ phải thấp hơn API ít nhất 40 phần trăm mới đầu tư
• Xây sẵn phương án dự phòng gọi API khi cụm nội bộ gặp sự cố