Zettelkasten

NVIDIA 공식 드라이버에서 GPU 작업 제출은 시스템 콜 없이 메모리 쓰기로 끝난다

·수정 1회

요약

  • 처음 한 번은 /dev/nvidiactl, /dev/nvidia0에 ioctl과 mmap을 해서 커널 드라이버가 채널(명령 큐)과 GPU 메모리를 만들고 프로세스에 매핑한다. 그 뒤 작업 제출은 유저 드라이버가 명령 버퍼, GPFIFO 항목, GP_PUT을 메모리에 쓰고, Volta부터는 도어벨 레지스터에 MMIO로 한 번 쓰는 것으로 끝난다
  • GPU의 PBDMA가 명령을 읽어 가 실행하고, 끝나면 메모리에 세마포어 값을 쓴다. CPU는 그 값을 계속 확인하거나 인터럽트를 기다리며 잠든다
  • 이 구조는 NVIDIA 공식(RM) 드라이버 이야기다. 오픈소스 nouveau와 NVK는 제출할 때마다 DRM_NOUVEAU_EXEC ioctl을 부른다

본문

준비: ioctl과 mmap (처음 한 번)

  • nvidia.ko는 nvidiactl과 nvidiaN 문자 장치를 등록하고 ioctl, mmap, poll을 제공한다. UVM은 nvidia-uvm.ko의 /dev/nvidia-uvm이다. /dev 노드 자체는 setuid 도구인 nvidia-modprobe가 만든다
  • RM 호출(NV_ESC_RM_ALLOC, NV_ESC_RM_CONTROL, NV_ESC_RM_MAP_MEMORY 등)로 GPU 가상 주소 공간, 채널, 메모리를 만들고 프로세스에 매핑한다
  • 채널을 만들 때 가상 주소 공간, GPFIFO 위치와 항목 수, USERD 메모리를 넘긴다
  • 이 단계를 커널이 맡는 이유: 아무 프로세스나 GPU 페이지 테이블을 만들 수 있으면 다른 프로세스의 GPU 메모리를 읽을 수 있다. CPU에서 사용자 모드와 커널 모드를 나누는 이유와 같다

제출: 메모리 쓰기 (매번)

NVIDIA 문서(tu104 dev_ram.ref.txt)에 적힌 순서:

  1. 유저 드라이버가 명령 묶음(pushbuffer segment)을 메모리에 쓴다
  2. 그 묶음을 가리키는 GPFIFO 항목을 쓴다
  3. 채널마다 있는 512바이트 USERD 블록의 GP_PUT을 올린다. GP_PUT은 주소가 아니라 항목 번호다
  4. Volta(GV100)부터는 usermode MMIO 영역의 NV_USERMODE_NOTIFY_CHANNEL_PENDING 레지스터(도어벨)에 쓴다. 이 쓰기가 있어야 GPU가 USERD의 GP_PUT을 읽는다. Volta는 채널 ID를, Turing부터는 RM에서 받은 work submit token을 쓴다
  • 도어벨은 GPU 레지스터 영역을 프로세스에 매핑한 것이라, CPU store 명령 하나가 PCIe 쓰기 하나가 된다
  • Volta 이전(Fermi~Pascal)에는 도어벨이 없었다. BAR1로 매핑된 USERD의 GP_PUT에 쓰기만 하면 GPU가 그 쓰기를 알아챘다. envytools 문서는 NV4 이후 커널 도움 없이 제출했다고 적는다. 도어벨은 알리는 방식을 바꾼 것이지, 시스템 콜을 없앤 원인이 아니다
  • CUDA 커널 런치는 호스트 기준 비동기다. 위 쓰기만 하고 GPU 실행을 기다리지 않고 리턴한다

GPU 쪽

  • Host의 PBDMA 유닛이 GPFIFO 항목과 pushbuffer를 메모리에서 읽어 온다. GPU 가상 주소로 읽기 때문에 명령 버퍼는 시스템 메모리와 VRAM 어디에 있어도 된다
  • 읽은 명령(메서드)을 디코드해 compute 엔진, copy 엔진에 넘긴다

완료 확인

  • Host의 SEM_EXECUTE(RELEASE)나 엔진의 세마포어 report로 GPU가 메모리에 값을 쓴다. NON_STALL_INT를 넣으면 채널을 멈추지 않고 인터럽트도 올린다
  • RM은 이 인터럽트를 받아 해당 fd의 poll을 깨운다
  • CUDA에서는 cudaSetDeviceFlags로 기다리는 방식을 고른다
    • cudaDeviceScheduleSpin: 계속 확인한다
    • cudaDeviceScheduleYield: 스레드를 양보한다
    • cudaDeviceScheduleBlockingSync: 동기화 객체에서 잠든다. 이때 커널로 들어간다
    • Auto(기본): 활성 CUDA 컨텍스트 수가 논리 CPU 수보다 많으면 Yield, 아니면 Spin
  • libcuda가 이 하드웨어 경로를 실제로 어떻게 쓰는지는 소스가 공개되지 않아 확인하지 못했다

시스템 콜을 피하는 이유

  • CPU 쪽 런치 비용은 커널 하나에 대략 5~15µs다(TensorRT 문서). 작은 커널을 많이 띄우면 CPU가 병목이 된다
  • 그래서 CUDA Graphs는 여러 런치를 그래프로 미리 만들어 두고 한 번의 CPU 호출로 제출한다
  • NVMe도 모양이 같다. 호스트가 SQ에 명령을 넣고 SQ Tail Doorbell을 쓰면, 컨트롤러가 CQ에 결과를 쓴다
  • io_uring은 큐 모양은 같지만, 기본 모드에서는 제출을 알리려면 io_uring_enter 시스템 콜이 필요하다. IORING_SETUP_SQPOLL로 커널 스레드가 SQ를 폴링할 때만 시스템 콜 없이 제출된다

용어

  • CUDA kernel은 GPU에서 도는 함수다. "커널 런치"는 OS 커널과 상관없다

직접 확인하는 방법 (아직 실행 안 함)

NVIDIA GPU가 있는 Linux에서:

strace -f -c -e trace=openat,ioctl,mmap python -c "
import torch
x = torch.ones(1, device='cuda')
for _ in range(10000): x += 1
torch.cuda.synchronize()"

위 구조대로라면 ioctl은 초기화 때 몰리고, 루프를 1만 번 돌아도 그만큼 늘지 않아야 한다. 컨테이너에서는 ptrace 권한이 없어 strace가 막힐 수 있다.

관련 노트

참고