Docker Engine + NVIDIA Container Toolkit: chạy container dùng GPU

Các bước thực hiện

1. 1Bước 1: Gỡ các gói Docker không chính chủ

   Đánh dấu xong

   for pkg in docker.io docker-doc docker-compose docker-compose-v2 podman-docker containerd runc; do
     sudo apt-get remove -y $pkg
   done

   Lệnh báo gói chưa cài là bình thường. Dữ liệu trong /var/lib/docker không bị xoá.

2. 2Bước 2: Cài Docker Engine từ kho của Docker

   Đánh dấu xong

   sudo apt-get update
   sudo apt-get install -y ca-certificates curl
   sudo install -m 0755 -d /etc/apt/keyrings
   sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
   sudo chmod a+r /etc/apt/keyrings/docker.asc
   echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}") stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
   sudo apt-get update
   sudo apt-get install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
   sudo docker run --rm hello-world

   Cảnh báo: Thêm người dùng vào nhóm docker (sudo usermod -aG docker $USER) tiện nhưng tương đương cấp quyền root trên máy. Chỉ thêm người thật sự quản trị máy.

3. 3Bước 3: Cài NVIDIA Container Toolkit

   Đánh dấu xong

   curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
   curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
   sudo apt-get update
   sudo apt-get install -y nvidia-container-toolkit
   sudo nvidia-ctk runtime configure --runtime=docker
   sudo systemctl restart docker

   nvidia-ctk runtime configure ghi runtime NVIDIA vào /etc/docker/daemon.json. Nếu file đó đã có cấu hình khác, sao lưu trước khi chạy.

4. 4Bước 4: Chạy container với --gpus

   Đánh dấu xong

   # Tất cả GPU
   sudo docker run --rm --gpus all ubuntu nvidia-smi
   
   # Chỉ GPU 0 và 1
   sudo docker run --rm --gpus '"device=0,1"' ubuntu nvidia-smi

   Toolkit tự gắn nvidia-smi và thư viện driver vào container, nên image ubuntu trống vẫn gọi được nvidia-smi.

5. 5Bước 5: Chạy image PyTorch của NVIDIA NGC

   Đánh dấu xong

   Image NGC đóng gói sẵn PyTorch, CUDA, cuDNN, NCCL đã được NVIDIA kiểm thử cùng nhau. Chọn tag trên trang NGC Catalog, đối chiếu yêu cầu driver trong ghi chú phát hành của tag đó.

   # Lấy tag cụ thể từ NGC Catalog; 25.08-py3 chỉ là ví dụ định dạng
   NGC_TAG=25.08-py3
   mkdir -p ~/workspace
   sudo docker run --rm -it --gpus all \
     --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 \
     -v ~/workspace:/workspace \
     nvcr.io/nvidia/pytorch:$NGC_TAG \
     python -c "import torch; print(torch.__version__, torch.cuda.device_count())"

   Mẹo: --ipc=host (hoặc --shm-size đủ lớn) tránh lỗi bộ nhớ chia sẻ khi DataLoader dùng nhiều worker.

6. 6Bước 6: Khai báo GPU trong docker compose

   Đánh dấu xong

   services:
     trainer:
       image: nvcr.io/nvidia/pytorch:25.08-py3   # ghim tag bạn đã chọn
       ipc: host
       ulimits:
         memlock: -1
         stack: 67108864
       working_dir: /workspace
       volumes:
         - ./workspace:/workspace
         - hf-cache:/root/.cache/huggingface
       command: python -c "import torch; print(torch.cuda.device_count())"
       deploy:
         resources:
           reservations:
             devices:
               - driver: nvidia
                 count: all          # hoặc device_ids: ["0", "1"]
                 capabilities: [gpu]
   
   volumes:
     hf-cache:

   sudo docker compose up
   sudo docker compose run --rm trainer nvidia-smi

Kiểm tra thành công

sudo docker run --rm --gpus all ubuntu nvidia-smi -L
sudo docker compose run --rm trainer python -c "import torch; assert torch.cuda.is_available(); print('OK', torch.cuda.device_count())"

Thành công khi container liệt kê đúng số GPU và lệnh Python in OK kèm số GPU.

Lỗi thường gặp & cách sửa

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
cat /etc/docker/daemon.json

sudo nvidia-ctk cdi generate --output=/etc/cdi/nvidia.yaml
nvidia-ctk cdi list

Bước tiếp theo

Nguồn chính chủ

Lệnh, tên gói và tham số thay đổi theo phiên bản. Trước khi chạy trên máy thật, hãy kiểm tra phiên bản mới nhất tại trang chính chủ:

• Docker — Install Docker Engine on Ubuntu
• NVIDIA Container Toolkit — Installation Guide
• NGC Catalog — PyTorch container
• Docker Compose — GPU support

Giới hạn của bài

• Tag image 25.08-py3 chỉ minh hoạ định dạng; hãy chọn tag theo driver và nhu cầu của bạn.
• Bài không đề cập Kubernetes/GPU Operator và Docker rootless.