Cài Ubuntu Server LTS, driver NVIDIA, CUDA Toolkit, Fabric Manager và DCGM

Các bước thực hiện

1. 1Bước 1: Thiết lập BIOS/UEFI

   Đánh dấu xong
   • Bật Above 4G Decoding (tên có thể là "MMIO above 4G") — bắt buộc với GPU có nhiều VRAM.
   • Bật Resizable BAR nếu nền tảng và GPU hỗ trợ.
   • Secure Boot: hoặc tắt, hoặc giữ bật và ký module driver (MOK) ở bước cài đặt.
   • Chọn cấu hình nguồn/hiệu năng theo hướng "Performance" trong BIOS hoặc BMC.
   • Bật IOMMU/SR-IOV chỉ khi bạn định chia GPU cho máy ảo; máy bare-metal huấn luyện nhiều GPU nên đọc khuyến nghị về ACS trong tài liệu NCCL.
   • Cập nhật BIOS và firmware BMC lên bản hãng máy chủ khuyến nghị cho GPU đang dùng.

2. 2Bước 2: Cập nhật hệ thống và kiểm tra GPU trên bus PCIe

   Đánh dấu xong

   sudo apt update && sudo apt full-upgrade -y
   sudo apt install -y build-essential dkms linux-headers-$(uname -r) pciutils
   lspci | grep -i nvidia
   mokutil --sb-state
   sudo reboot

   lspci phải liệt kê đủ số GPU. Thiếu card ở bước này là lỗi phần cứng/BIOS/riser — cài driver không sửa được.

3. 3Bước 3: Cài driver NVIDIA

   Đánh dấu xong

   Cách A — dùng ubuntu-drivers (bản -server dành cho máy chủ tính toán):

   sudo apt install -y ubuntu-drivers-common
   sudo ubuntu-drivers list --gpgpu
   # Thay 570 bằng nhánh driver mà lệnh trên liệt kê và phù hợp GPU của bạn
   sudo ubuntu-drivers install --gpgpu nvidia:570-server
   sudo apt install -y nvidia-utils-570-server
   sudo reboot

   Cách B — dùng repo CUDA của NVIDIA (ví dụ cho Ubuntu 24.04 x86_64; đổi ubuntu2404 theo bản Ubuntu của bạn):

   wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb
   sudo dpkg -i cuda-keyring_1.1-1_all.deb
   sudo apt update
   # Kernel module mã nguồn mở (khuyến nghị cho GPU đời mới — xem tài liệu NVIDIA cho GPU của bạn)
   sudo apt install -y nvidia-open
   # Hoặc module độc quyền: sudo apt install -y cuda-drivers
   sudo reboot

   Lưu ý: Nếu Secure Boot đang bật, trình cài sẽ yêu cầu đặt mật khẩu MOK. Sau khi khởi động lại, chọn "Enroll MOK" trên màn hình console và nhập mật khẩu đó — cần truy cập console qua BMC.

4. 4Bước 4: Kiểm tra driver và topo GPU

   Đánh dấu xong

   nvidia-smi
   nvidia-smi topo -m
   lsmod | grep -E "nvidia|nouveau"

   nvidia-smi phải hiện đủ GPU và phiên bản driver. nvidia-smi topo -m cho biết GPU nối nhau qua NVLink (NV#), cùng switch PCIe (PIX/PXB) hay phải đi qua CPU (SYS) — thông tin này cần khi đặt tiến trình và chọn tensor parallel. Module nouveau không được xuất hiện.

5. 5Bước 5: Cài CUDA Toolkit (khi cần biên dịch)

   Đánh dấu xong

   Wheel PyTorch đã kèm thư viện CUDA runtime, nên chỉ chạy PyTorch thì chưa cần Toolkit. Bạn cần Toolkit khi biên dịch extension (flash-attention, DeepSpeed op, nccl-tests…). Toolkit lấy từ repo CUDA ở bước 3 (cách B) — cài riêng cuda-keyring nếu bạn đã chọn cách A.

   sudo apt install -y cuda-toolkit
   echo 'export PATH=/usr/local/cuda/bin:$PATH' >> ~/.bashrc
   echo 'export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc
   source ~/.bashrc
   nvcc --version

   Mẹo: Gói cuda-toolkit chỉ cài Toolkit, không đụng tới driver. Tránh cài gói cuda (gói gộp) nếu bạn đã cài driver bằng cách A, vì nó kéo theo driver từ repo NVIDIA.

6. 6Bước 6: Bật persistence mode

   Đánh dấu xong

   Persistence giữ driver nạp sẵn khi không có tiến trình dùng GPU, tránh độ trễ khởi tạo mỗi lần chạy job và giữ cấu hình GPU ổn định.

   sudo systemctl enable --now nvidia-persistenced
   systemctl status nvidia-persistenced --no-pager
   nvidia-smi -q | grep -i "persistence mode"

7. 7Bước 7: Cài Fabric Manager cho hệ HGX/NVSwitch

   Đánh dấu xong

   Chỉ áp dụng cho máy có NVSwitch (bo mạch HGX nhiều GPU SXM). Máy card PCIe thường bỏ qua bước này. Phiên bản Fabric Manager phải khớp chính xác nhánh driver.

   # Thay 570 bằng đúng nhánh driver đang chạy (xem trong nvidia-smi)
   sudo apt install -y nvidia-fabricmanager-570
   sudo systemctl enable --now nvidia-fabricmanager
   systemctl status nvidia-fabricmanager --no-pager
   nvidia-smi -q | grep -i -A 3 fabric

   Cảnh báo: Trên hệ NVSwitch, thiếu hoặc lệch phiên bản Fabric Manager thì CUDA không khởi tạo được GPU dù nvidia-smi vẫn liệt kê card. Với các thế hệ HGX mới, đọc thêm tài liệu NVIDIA về NVLink Subnet Manager đi kèm.

8. 8Bước 8: Cài DCGM và chạy chẩn đoán

   Đánh dấu xong

   DCGM (Data Center GPU Manager) dùng để kiểm tra sức khoẻ, chạy chẩn đoán và cấp số liệu cho hệ giám sát. Tên gói thay đổi theo thế hệ DCGM và phiên bản CUDA — kiểm tra trang tài liệu trước khi cài.

   # Ví dụ DCGM 4 cho CUDA 12 từ repo CUDA; đổi hậu tố theo phiên bản CUDA của driver
   sudo apt install -y datacenter-gpu-manager-4-cuda12
   sudo systemctl enable --now nvidia-dcgm
   dcgmi discovery -l
   dcgmi diag -r 1

   Mức -r 1 chạy nhanh để kiểm tra triển khai. Các mức cao hơn (-r 2, -r 3) chạy lâu và tải GPU nặng — chạy ngoài giờ hoặc trước khi bàn giao máy.

Kiểm tra thành công

nvidia-smi --query-gpu=index,name,driver_version,persistence_mode,memory.total --format=csv
nvcc --version
dcgmi diag -r 1

• Đủ số GPU, cùng phiên bản driver, persistence mode = Enabled.
• nvcc --version in ra phiên bản Toolkit (nếu bạn cài Toolkit).
• dcgmi diag -r 1 không có mục Fail.
• Hệ HGX: dịch vụ nvidia-fabricmanager ở trạng thái active.

Lỗi thường gặp & cách sửa

mokutil --sb-state
dkms status
sudo dmesg -T | grep -iE "nvidia|secure boot|module verification"

journalctl -u nvidia-fabricmanager --no-pager | tail -n 50
dpkg -l | grep -E "nvidia-fabricmanager|nvidia-driver|nvidia-open"

Bước tiếp theo

Nguồn chính chủ

Lệnh, tên gói và tham số thay đổi theo phiên bản. Trước khi chạy trên máy thật, hãy kiểm tra phiên bản mới nhất tại trang chính chủ:

• Ubuntu Server — Cài driver NVIDIA
• NVIDIA Driver Installation Guide
• CUDA Toolkit Downloads
• NVIDIA Fabric Manager User Guide
• NVIDIA DCGM Documentation

Giới hạn của bài

• Số nhánh driver (570), tên gói DCGM và đường dẫn repo trong bài là VÍ DỤ tại thời điểm cập nhật; nhánh phù hợp phụ thuộc GPU và hệ điều hành của bạn.
• Bài không đề cập vGPU, MIG và ảo hoá GPU — mỗi chủ đề cần tài liệu riêng.