요약
- 처음 한 번은
/dev/nvidiactl,/dev/nvidia0에 ioctl과 mmap을 해서 커널 드라이버가 채널(명령 큐)과 GPU 메모리를 만들고 프로세스에 매핑한다. 그 뒤 작업 제출은 유저 드라이버가 명령 버퍼, GPFIFO 항목, GP_PUT을 메모리에 쓰고, Volta부터는 도어벨 레지스터에 MMIO로 한 번 쓰는 것으로 끝난다 - GPU의 PBDMA가 명령을 읽어 가 실행하고, 끝나면 메모리에 세마포어 값을 쓴다. CPU는 그 값을 계속 확인하거나 인터럽트를 기다리며 잠든다
- 이 구조는 NVIDIA 공식(RM) 드라이버 이야기다. 오픈소스 nouveau와 NVK는 제출할 때마다
DRM_NOUVEAU_EXECioctl을 부른다
본문
준비: ioctl과 mmap (처음 한 번)
- nvidia.ko는
nvidiactl과nvidiaN문자 장치를 등록하고 ioctl, mmap, poll을 제공한다. UVM은 nvidia-uvm.ko의/dev/nvidia-uvm이다./dev노드 자체는 setuid 도구인 nvidia-modprobe가 만든다 - RM 호출(
NV_ESC_RM_ALLOC,NV_ESC_RM_CONTROL,NV_ESC_RM_MAP_MEMORY등)로 GPU 가상 주소 공간, 채널, 메모리를 만들고 프로세스에 매핑한다 - 채널을 만들 때 가상 주소 공간, GPFIFO 위치와 항목 수, USERD 메모리를 넘긴다
- 이 단계를 커널이 맡는 이유: 아무 프로세스나 GPU 페이지 테이블을 만들 수 있으면 다른 프로세스의 GPU 메모리를 읽을 수 있다. CPU에서 사용자 모드와 커널 모드를 나누는 이유와 같다
제출: 메모리 쓰기 (매번)
NVIDIA 문서(tu104 dev_ram.ref.txt)에 적힌 순서:
- 유저 드라이버가 명령 묶음(pushbuffer segment)을 메모리에 쓴다
- 그 묶음을 가리키는 GPFIFO 항목을 쓴다
- 채널마다 있는 512바이트 USERD 블록의 GP_PUT을 올린다. GP_PUT은 주소가 아니라 항목 번호다
- Volta(GV100)부터는 usermode MMIO 영역의
NV_USERMODE_NOTIFY_CHANNEL_PENDING레지스터(도어벨)에 쓴다. 이 쓰기가 있어야 GPU가 USERD의 GP_PUT을 읽는다. Volta는 채널 ID를, Turing부터는 RM에서 받은 work submit token을 쓴다
- 도어벨은 GPU 레지스터 영역을 프로세스에 매핑한 것이라, CPU store 명령 하나가 PCIe 쓰기 하나가 된다
- Volta 이전(Fermi~Pascal)에는 도어벨이 없었다. BAR1로 매핑된 USERD의 GP_PUT에 쓰기만 하면 GPU가 그 쓰기를 알아챘다. envytools 문서는 NV4 이후 커널 도움 없이 제출했다고 적는다. 도어벨은 알리는 방식을 바꾼 것이지, 시스템 콜을 없앤 원인이 아니다
- CUDA 커널 런치는 호스트 기준 비동기다. 위 쓰기만 하고 GPU 실행을 기다리지 않고 리턴한다
GPU 쪽
- Host의 PBDMA 유닛이 GPFIFO 항목과 pushbuffer를 메모리에서 읽어 온다. GPU 가상 주소로 읽기 때문에 명령 버퍼는 시스템 메모리와 VRAM 어디에 있어도 된다
- 읽은 명령(메서드)을 디코드해 compute 엔진, copy 엔진에 넘긴다
완료 확인
- Host의
SEM_EXECUTE(RELEASE)나 엔진의 세마포어 report로 GPU가 메모리에 값을 쓴다.NON_STALL_INT를 넣으면 채널을 멈추지 않고 인터럽트도 올린다 - RM은 이 인터럽트를 받아 해당 fd의 poll을 깨운다
- CUDA에서는
cudaSetDeviceFlags로 기다리는 방식을 고른다cudaDeviceScheduleSpin: 계속 확인한다cudaDeviceScheduleYield: 스레드를 양보한다cudaDeviceScheduleBlockingSync: 동기화 객체에서 잠든다. 이때 커널로 들어간다- Auto(기본): 활성 CUDA 컨텍스트 수가 논리 CPU 수보다 많으면 Yield, 아니면 Spin
- libcuda가 이 하드웨어 경로를 실제로 어떻게 쓰는지는 소스가 공개되지 않아 확인하지 못했다
시스템 콜을 피하는 이유
- CPU 쪽 런치 비용은 커널 하나에 대략 5~15µs다(TensorRT 문서). 작은 커널을 많이 띄우면 CPU가 병목이 된다
- 그래서 CUDA Graphs는 여러 런치를 그래프로 미리 만들어 두고 한 번의 CPU 호출로 제출한다
- NVMe도 모양이 같다. 호스트가 SQ에 명령을 넣고 SQ Tail Doorbell을 쓰면, 컨트롤러가 CQ에 결과를 쓴다
- io_uring은 큐 모양은 같지만, 기본 모드에서는 제출을 알리려면
io_uring_enter시스템 콜이 필요하다.IORING_SETUP_SQPOLL로 커널 스레드가 SQ를 폴링할 때만 시스템 콜 없이 제출된다
용어
- CUDA kernel은 GPU에서 도는 함수다. "커널 런치"는 OS 커널과 상관없다
직접 확인하는 방법 (아직 실행 안 함)
NVIDIA GPU가 있는 Linux에서:
strace -f -c -e trace=openat,ioctl,mmap python -c "
import torch
x = torch.ones(1, device='cuda')
for _ in range(10000): x += 1
torch.cuda.synchronize()"
위 구조대로라면 ioctl은 초기화 때 몰리고, 루프를 1만 번 돌아도 그만큼 늘지 않아야 한다. 컨테이너에서는 ptrace 권한이 없어 strace가 막힐 수 있다.
관련 노트
- DMA는 CPU가 장치와 RAM 사이에서 데이터를 옮기는 일을 없앤다
- DMA 버퍼는 OS가 장치용 주소로 매핑하고 페이지를 고정해야 한다
- 제한적 직접 실행은 CPU 가상화 문제를 해결한다.
참고
- https://github.com/NVIDIA/open-gpu-doc —
manuals/turing/tu104/dev_ram.ref.txt,dev_pbdma.ref.txt,manuals/volta/gv100/dev_usermode.ref.txt - https://github.com/NVIDIA/open-gpu-kernel-modules —
kernel-open/nvidia/nv.c,nv_escape.h,uvm_volta_host.c - https://envytools.readthedocs.io/en/latest/hw/fifo/dma-pusher.html — 커뮤니티 리버스 엔지니어링 자료
- https://docs.nvidia.com/cuda/cuda-runtime-api/group__CUDART__DEVICE.html
- https://docs.nvidia.com/cuda/cuda-runtime-api/api-sync-behavior.html
- https://docs.nvidia.com/deeplearning/tensorrt/latest/performance/optimization.html
- https://developer.nvidia.com/blog/cuda-graphs/
- https://nvmexpress.org/wp-content/uploads/NVM-Express-PCI-Express-Transport-Specification-Revision-1.1-2024.08.05-Ratified.pdf — §3.4
- https://man7.org/linux/man-pages/man2/io_uring_setup.2.html