요약
- PIO에서는 CPU가 RAM에서 읽고 장치 레지스터에 쓰는 일을 데이터 크기만큼 반복한다. DMA에서는 CPU가 주소와 길이만 넘기고, 장치의 DMA 엔진이 RAM을 직접 읽고 쓴 뒤 인터럽트 등으로 끝을 알린다
- OSTEP 36장은 기다리는 낭비를 인터럽트로 줄이고(36.4), 그래도 남는 복사의 낭비를 DMA로 줄이는(36.5) 순서로 설명한다
- DMA도 메모리 대역폭을 쓰고 준비 비용이 있다. GPU 제출 경로에서도 값 하나짜리 도어벨은 CPU가 MMIO로 직접 쓰고, 명령 버퍼와 데이터는 장치가 가져간다
본문
PIO: CPU가 직접 옮긴다
반복 (4KB를 4바이트씩이면 1024번):
RAM에서 읽기 ← CPU
장치 레지스터에 쓰기 ← CPU
- 장치 레지스터는 캐시되지 않게 매핑된다(Linux
ioremap(), x86에서 UC-). 그래서 명령 하나가 장치 접근 하나가 된다.readl은 4바이트,readq는 8바이트다 - PCIe MMIO 쓰기는 posted라 응답을 기다리지 않는다. 읽기는 completion이 올 때까지 CPU가 기다린다
- 그래서 복사 속도는 CPU 클럭이 아니라 버스 왕복이 정하고, 그동안 CPU는 다른 일을 못 한다
DMA: 장치가 직접 가져간다
- CPU는 지시서(descriptor)만 준다. 예: "RAM 주소 X부터 N바이트를 가져가"
- 장치의 DMA 엔진이 메모리 읽기·쓰기 트랜잭션을 직접 만든다. 이를 bus mastering이라 하고, Linux에서는
pci_set_master()가 장치의 bus master 비트를 켠다 - 한 번에 큰 단위로 보낸다. PCIe Max Payload Size는 명세상 128~4096바이트이고, 경로 위 장치 중 가장 작은 값에 맞춘다
- 끝나면 인터럽트를 걸거나 메모리에 완료 표시를 쓴다
- 예전 PC(ISA)는 메인보드의 Intel 8237 DMA 컨트롤러가 옮겼다(하위 16MB 제한). 지금은 NIC, NVMe SSD, GPU가 각자 DMA 엔진을 가진다. OSTEP은 DMA 엔진을 시스템 안의 별도 장치로 그린다
OSTEP 36장의 두 단계
- 기다리는 낭비 → 인터럽트 (36.4 Lowering CPU Overhead With Interrupts): 폴링은 장치가 일하는 동안 CPU가 상태 레지스터를 계속 읽는다. 인터럽트를 쓰면 그동안 다른 프로세스를 돌린다
- 옮기는 낭비 → DMA (36.5 More Efficient Data Movement With DMA): 인터럽트를 써도 데이터를 장치로 옮기는 일은 CPU가 한 워드씩 한다. DMA는 이 복사 구간을 DMA 엔진에 넘긴다
36.5의 타임라인을 줄이면:
PIO
CPU: [프로세스1][복사 복사 복사][프로세스2 ...]
디스크: [ 작업 ]
DMA
CPU: [프로세스1][프로세스2 ...........]
DMA: [복사 복사 복사]
디스크: [ 작업 ]
DMA가 해결하지 않는 것
- 메모리 대역폭: DMA 쓰기도 결국 메모리에 들어간다. Intel DDIO는 DMA 쓰기를 LLC로 받아 DRAM 부담을 줄이지만, 대신 LLC 용량을 쓴다
- 준비 비용: 지시서 작성, 주소 매핑, 페이지 고정, 완료 통지가 든다. 그래서 아주 작은 데이터는 CPU가 직접 쓰는 편이 나을 수 있다(해석이고 측정하지는 않았다)
- GPU 제출 경로가 이 절충을 보여 준다. 도어벨처럼 값 하나는 CPU가 MMIO로 쓰고, pushbuffer와 데이터처럼 큰 것은 GPU가 읽어 간다
- CUDA의 copy engine이 GPU의 DMA 엔진이다. pinned 메모리,
cudaMemcpyAsync, 기본 스트림이 아닌 스트림을 함께 쓰면 복사와 커널 실행을 겹칠 수 있다. 엔진 수는cudaDeviceProp.asyncEngineCount로 본다
관련 노트
- NVIDIA 공식 드라이버에서 GPU 작업 제출은 시스템 콜 없이 메모리 쓰기로 끝난다
- DMA 버퍼는 OS가 장치용 주소로 매핑하고 페이지를 고정해야 한다
- I∕O 멀티 플렉싱은 여러 I∕O 채널을 감시하는 문제를 해결한다
- IDE(Integrated Drive Electronics) 하드 디스크
참고
- https://pages.cs.wisc.edu/~remzi/OSTEP/file-devices.pdf — OSTEP 36장 I/O Devices, 36.4·36.5절
- https://docs.kernel.org/driver-api/device-io.html
- https://docs.kernel.org/PCI/pci.html
- https://docs.kernel.org/core-api/dma-isa-lpc.html
- https://www.intel.com/content/www/us/en/developer/articles/technical/ddio-analysis-performance-monitoring.html
- https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html — 10.1.2절