Bỏ qua điều hướng
CÔNG TY CỔ PHẦN GIẢI PHÁP CÔNG NGHỆ HQG
Lộ trình thực chiến

Hướng dẫn cài đặt hệ thống huấn luyện & triển khai mô hình AI

Đi từ máy chủ trống đến hệ thống AI chạy thật trong doanh nghiệp. Mỗi bài có mục tiêu, yêu cầu, các bước với lệnh sao chép được, cách kiểm tra thành công và lỗi thường gặp. Đọc theo thứ tự nếu bạn bắt đầu từ đầu, hoặc nhảy thẳng tới giai đoạn đang làm.

9 giai đoạn · 10 bàiCập nhật: 09/2026Không đưa số hiệu năng, giá chưa kiểm chứng
Bắt đầu từ bài 1Tính cấu hình AI

  1. Giai đoạn 1: Chuẩn bị phần cứng

    Chọn GPU, CPU, RAM, lưu trữ, mạng, nguồn và làm mát theo đúng bài toán.

    Bài 1Cơ bản

    Chọn phần cứng cho AI: GPU, CPU, RAM, NVMe, mạng, nguồn và làm mát

    Cách chọn cấu hình theo mục tiêu suy luận, fine-tune hay huấn luyện: workstation hay máy chủ, PCIe hay NVLink/SXM, khi nào cần InfiniBand/RoCE, và những điều phải tính về điện, phòng máy.

    Chủ doanh nghiệp, trưởng phòng IT lên ngân sách · Kỹ sư chuẩn bị dự án AI on-prem đầu tiên
    Khoảng 7 phút đọc · 7 bước

  2. Giai đoạn 2: Hệ điều hành & driver

    Ubuntu Server LTS, BIOS, driver NVIDIA, CUDA, Fabric Manager, DCGM.

    Bài 2Trung cấp

    Cài Ubuntu Server LTS, driver NVIDIA, CUDA Toolkit, Fabric Manager và DCGM

    Thiết lập BIOS cho máy chủ GPU, cài driver NVIDIA bằng ubuntu-drivers hoặc repo CUDA, cài CUDA Toolkit, bật persistence mode, Fabric Manager cho HGX/NVSwitch và DCGM để kiểm tra sức khoẻ GPU.

    Kỹ sư hệ thống dựng máy chủ GPU · Kỹ sư AI tự quản máy của nhóm
    Khoảng 5 phút đọc · 8 bước

  3. Giai đoạn 3: Môi trường

    Docker + NVIDIA Container Toolkit, Python và PyTorch đúng bản CUDA.

    Bài 3Cơ bản

    Docker Engine + NVIDIA Container Toolkit: chạy container dùng GPU

    Cài Docker Engine từ kho chính chủ, cài NVIDIA Container Toolkit, chạy container với --gpus all, dùng image PyTorch của NGC và khai báo GPU trong docker compose.

    Kỹ sư AI muốn môi trường tái lập được · Kỹ sư hệ thống phục vụ nhiều nhóm trên cùng máy chủ
    Khoảng 4 phút đọc · 6 bước
    Bài 4Cơ bản

    Môi trường Python cho AI: uv hoặc conda, PyTorch đúng bản CUDA, flash-attention, bitsandbytes

    Tạo môi trường Python sạch bằng uv hoặc conda, cài PyTorch khớp bản CUDA, kiểm tra torch.cuda.is_available(), cài flash-attention, bitsandbytes và ghim phiên bản để cả nhóm tái lập được.

    Kỹ sư AI, nhà nghiên cứu chạy trực tiếp trên máy chủ · Sinh viên, nhóm R&D mới bắt đầu với GPU
    Khoảng 3 phút đọc · 7 bước

  4. Giai đoạn 4: Fine-tune

    Chuẩn bị dữ liệu tiếng Việt, LoRA/QLoRA, đánh giá, merge, xuất GGUF.

    Bài 5Trung cấp

    Fine-tune LLM bằng LoRA/QLoRA: từ dữ liệu hội thoại tiếng Việt đến adapter, merge và GGUF

    Chuẩn bị dữ liệu hội thoại JSONL, làm sạch dữ liệu tiếng Việt, tách train/eval, fine-tune QLoRA bằng Hugging Face TRL, chỉnh tham số chính, đánh giá, merge adapter và xuất GGUF. Kèm ghi chú Unsloth, LLaMA-Factory, Axolotl.

    Kỹ sư AI tuỳ biến mô hình cho nghiệp vụ · Nhóm dữ liệu chuẩn bị bộ hội thoại huấn luyện
    Khoảng 9 phút đọc · 9 bước

  5. Giai đoạn 5: Nhiều GPU

    torchrun, DDP, FSDP, DeepSpeed ZeRO, NCCL, nhiều node.

    Bài 6Nâng cao

    Huấn luyện nhiều GPU và nhiều node: torchrun, DDP, FSDP, DeepSpeed ZeRO, NCCL

    Chọn giữa DDP, FSDP và DeepSpeed ZeRO 1/2/3, chạy torchrun trên một hoặc nhiều node, kiểm tra NCCL bằng nccl-tests, biến môi trường gỡ lỗi, checkpoint và tổ chức lưu trữ dữ liệu song song.

    Kỹ sư ML huấn luyện mô hình lớn · Kỹ sư hạ tầng vận hành cụm GPU
    Khoảng 6 phút đọc · 7 bước

  6. Giai đoạn 6: Triển khai

    vLLM, Ollama, llama.cpp, Open WebUI, bảo mật endpoint, đo tải.

    Bài 7Trung cấp

    Triển khai suy luận LLM: vLLM, Ollama, llama.cpp, Open WebUI và bảo mật endpoint

    Dựng API tương thích OpenAI bằng vLLM (tensor parallel, AWQ/GPTQ/FP8, LoRA), chạy Ollama và llama.cpp cho máy nhỏ, tổng quan SGLang/TGI, giao diện chat nội bộ Open WebUI, reverse proxy, API key và đo tải.

    Kỹ sư triển khai AI cho doanh nghiệp · Trưởng phòng IT cần chatbot nội bộ không gửi dữ liệu ra ngoài
    Khoảng 7 phút đọc · 7 bước

  7. Giai đoạn 7: RAG

    Hỏi đáp trên tài liệu nội bộ: trích xuất, chunking, embedding, rerank, phân quyền.

    Bài 8Trung cấp

    RAG trên tài liệu nội bộ tiếng Việt: trích xuất, chunking, embedding, vector DB, rerank và phân quyền

    Dựng pipeline hỏi đáp trên tài liệu nội bộ: trích xuất PDF/Word tiếng Việt (kể cả bản scan), chia đoạn, embedding đa ngôn ngữ, lưu pgvector hoặc Qdrant, rerank, đánh giá chất lượng và lọc theo quyền truy cập.

    Kỹ sư AI/phần mềm xây chatbot tài liệu · Chủ doanh nghiệp muốn tận dụng kho quy trình, hợp đồng mẫu, tài liệu kỹ thuật
    Khoảng 8 phút đọc · 7 bước

  8. Giai đoạn 8: Vận hành

    Giám sát GPU, cảnh báo, theo dõi thí nghiệm, sao lưu, bảo trì.

    Bài 9Trung cấp

    Giám sát và vận hành máy chủ GPU: DCGM Exporter, Prometheus, Grafana, Xid, MLflow, sao lưu checkpoint

    Theo dõi nhiệt độ, điện năng, ECC, lỗi Xid bằng nvidia-smi và dcgm-exporter, đưa vào Prometheus/Grafana với cảnh báo, theo dõi thí nghiệm bằng MLflow hoặc Weights & Biases, sao lưu checkpoint và lập lịch bảo trì.

    Kỹ sư vận hành hệ thống AI · Trưởng nhóm AI quản lý nhiều thí nghiệm, nhiều máy
    Khoảng 6 phút đọc · 8 bước

  9. Giai đoạn 9: Bảo mật

    Dữ liệu nhạy cảm, phân quyền, nhật ký, giấy phép mô hình, tuân thủ.

    Bài 10Cơ bản

    Bảo mật dữ liệu khi dùng AI: chạy on-prem, phân quyền, nhật ký, giấy phép mô hình và tuân thủ

    Khung việc cần làm để dùng AI với dữ liệu nhạy cảm: phân loại dữ liệu, chạy on-prem, phân quyền, nhật ký truy cập, quản lý bí mật, kiểm tra giấy phép mô hình khi dùng thương mại và lưu ý tổng quát về pháp luật bảo vệ dữ liệu cá nhân tại Việt Nam.

    Chủ doanh nghiệp, ban giám đốc ra quyết định dùng AI · Trưởng phòng IT, an toàn thông tin · Kỹ sư triển khai AI
    Khoảng 6 phút đọc · 8 bước

Muốn bỏ qua phần tự dựng?

HQG khảo sát bài toán, đề xuất máy chủ GPU trong danh mục máy chủ, lắp đặt, cài sẵn phần mềm và bàn giao tài liệu vận hành.

Dịch vụ hạ tầng AILiên hệ kỹ sư