Zettelkasten

DMA는 CPU가 장치와 RAM 사이에서 데이터를 옮기는 일을 없앤다

·수정 1회

요약

  • PIO에서는 CPU가 RAM에서 읽고 장치 레지스터에 쓰는 일을 데이터 크기만큼 반복한다. DMA에서는 CPU가 주소와 길이만 넘기고, 장치의 DMA 엔진이 RAM을 직접 읽고 쓴 뒤 인터럽트 등으로 끝을 알린다
  • OSTEP 36장은 기다리는 낭비를 인터럽트로 줄이고(36.4), 그래도 남는 복사의 낭비를 DMA로 줄이는(36.5) 순서로 설명한다
  • DMA도 메모리 대역폭을 쓰고 준비 비용이 있다. GPU 제출 경로에서도 값 하나짜리 도어벨은 CPU가 MMIO로 직접 쓰고, 명령 버퍼와 데이터는 장치가 가져간다

본문

PIO: CPU가 직접 옮긴다

반복 (4KB를 4바이트씩이면 1024번):
    RAM에서 읽기            ← CPU
    장치 레지스터에 쓰기      ← CPU
  • 장치 레지스터는 캐시되지 않게 매핑된다(Linux ioremap(), x86에서 UC-). 그래서 명령 하나가 장치 접근 하나가 된다. readl은 4바이트, readq는 8바이트다
  • PCIe MMIO 쓰기는 posted라 응답을 기다리지 않는다. 읽기는 completion이 올 때까지 CPU가 기다린다
  • 그래서 복사 속도는 CPU 클럭이 아니라 버스 왕복이 정하고, 그동안 CPU는 다른 일을 못 한다

DMA: 장치가 직접 가져간다

  • CPU는 지시서(descriptor)만 준다. 예: "RAM 주소 X부터 N바이트를 가져가"
  • 장치의 DMA 엔진이 메모리 읽기·쓰기 트랜잭션을 직접 만든다. 이를 bus mastering이라 하고, Linux에서는 pci_set_master()가 장치의 bus master 비트를 켠다
  • 한 번에 큰 단위로 보낸다. PCIe Max Payload Size는 명세상 128~4096바이트이고, 경로 위 장치 중 가장 작은 값에 맞춘다
  • 끝나면 인터럽트를 걸거나 메모리에 완료 표시를 쓴다
  • 예전 PC(ISA)는 메인보드의 Intel 8237 DMA 컨트롤러가 옮겼다(하위 16MB 제한). 지금은 NIC, NVMe SSD, GPU가 각자 DMA 엔진을 가진다. OSTEP은 DMA 엔진을 시스템 안의 별도 장치로 그린다

OSTEP 36장의 두 단계

  1. 기다리는 낭비 → 인터럽트 (36.4 Lowering CPU Overhead With Interrupts): 폴링은 장치가 일하는 동안 CPU가 상태 레지스터를 계속 읽는다. 인터럽트를 쓰면 그동안 다른 프로세스를 돌린다
  2. 옮기는 낭비 → DMA (36.5 More Efficient Data Movement With DMA): 인터럽트를 써도 데이터를 장치로 옮기는 일은 CPU가 한 워드씩 한다. DMA는 이 복사 구간을 DMA 엔진에 넘긴다

36.5의 타임라인을 줄이면:

PIO
CPU:  [프로세스1][복사 복사 복사][프로세스2 ...]
디스크:                        [   작업   ]

DMA
CPU:  [프로세스1][프로세스2 ...........]
DMA:            [복사 복사 복사]
디스크:                        [   작업   ]

DMA가 해결하지 않는 것

  • 메모리 대역폭: DMA 쓰기도 결국 메모리에 들어간다. Intel DDIO는 DMA 쓰기를 LLC로 받아 DRAM 부담을 줄이지만, 대신 LLC 용량을 쓴다
  • 준비 비용: 지시서 작성, 주소 매핑, 페이지 고정, 완료 통지가 든다. 그래서 아주 작은 데이터는 CPU가 직접 쓰는 편이 나을 수 있다(해석이고 측정하지는 않았다)
  • GPU 제출 경로가 이 절충을 보여 준다. 도어벨처럼 값 하나는 CPU가 MMIO로 쓰고, pushbuffer와 데이터처럼 큰 것은 GPU가 읽어 간다
  • CUDA의 copy engine이 GPU의 DMA 엔진이다. pinned 메모리, cudaMemcpyAsync, 기본 스트림이 아닌 스트림을 함께 쓰면 복사와 커널 실행을 겹칠 수 있다. 엔진 수는 cudaDeviceProp.asyncEngineCount로 본다

관련 노트

참고