Zettelkasten

DMA 버퍼는 OS가 장치용 주소로 매핑하고 페이지를 고정해야 한다

·수정 1회

요약

  • DMA는 CPU의 MMU와 페이지 테이블을 거치지 않는다. 그래서 Linux 드라이버는 dma_map_single()·dma_map_sg()로 장치가 쓸 주소(dma_addr_t)를 받아 장치에 넘기고, 흩어진 버퍼는 scatterlist로 넘긴다. 예외는 IOMMU가 CPU 페이지 테이블을 공유하는 SVA다
  • 유저 메모리를 DMA 대상으로 쓰려면 pin_user_pages*()로 고정해 전송 중에 페이지가 옮겨지지 않게 한다. CUDA의 pinned 메모리가 이것이다
  • IOMMU는 장치 주소를 변환하고 장치가 접근할 수 있는 범위를 제한한다. 다만 Thunderclap(NDSS 2019)은 IOMMU를 켜도 OS가 IOMMU를 쓰는 방식의 허점 때문에 DMA 공격이 성공함을 보였다

본문

장치가 쓰는 주소

  • 커널 문서: "DMA doesn't go through the CPU virtual memory system"
  • dma_addr_t는 bus address다. IOMMU가 있으면 IOMMU가 변환하는 IO 가상 주소다. IOMMU가 없어도 host bridge offset 때문에 물리 주소와 다를 수 있다
  • 가상 주소로는 연속인 버퍼도 물리 메모리에서는 여러 페이지에 흩어져 있을 수 있다. 이 조각 목록(scatterlist)을 dma_map_sg()에 넘기면, 장치는 조각마다 주소와 길이를 받아 차례로 읽는다
  • 예외: SVA/PASID를 쓰면 IOMMU가 CPU 페이지 테이블을 공유한다. 장치가 프로세스 가상 주소를 그대로 쓰고, 페이지 고정도 필요 없다

페이지 고정

  • 전송 중에 커널이 그 페이지를 다른 물리 위치로 옮기면, 장치는 이미 다른 데이터가 들어간 메모리를 읽거나 덮어쓴다
  • Linux 문서 기준: DMA용은 pin_user_pages*()(FOLL_PIN), 그 밖은 get_user_pages*(). RDMA처럼 오래 잡아 두면 FOLL_LONGTERM도 붙인다. 고정된 페이지는 ZONE_MOVABLE에 둘 수 없다
  • CUDA: pageable 메모리에서 cudaMemcpy를 하면 드라이버가 pinned 임시 버퍼로 먼저 복사한 뒤 DMA로 보낸다. 미리 pinned로 할당한 버퍼를 다시 쓰면 이 복사가 없다. 이득 크기는 시스템마다 다르다. NVIDIA 블로그(2012) 측정에서 NVS 4200M은 약 2.5배, GTX 680은 약 15%였다
  • pinned가 아닌 메모리로 cudaMemcpyAsync를 하면 동기 동작으로 바뀐다
  • PyTorch DataLoader(pin_memory=True)는 배치를 별도 스레드에서 pinned 메모리에 올린다. 복사와 연산을 겹치려면 .to(device, non_blocking=True)도 함께 쓴다. 반대로 tensor.pin_memory().to(device)를 직접 부르면 그때그때 고정하는 비용 때문에 그냥 .to(device)보다 최대 2배 느릴 수 있다(PyTorch 튜토리얼)

IOMMU

  • Intel VT-d, AMD-Vi가 장치 주소를 변환하고, 허용되지 않은 접근은 fault로 막는다
  • Linux Thunderbolt 문서: IOMMU가 켜져 있으면 연결된 장치는 드라이버가 할당한 영역 밖 메모리에 접근할 수 없다
  • Thunderclap 논문의 결론은 IOMMU를 올바르게 설정해도 남는 취약점이 있다는 것이다. IOMMU를 켜는 것만으로 DMA 공격이 막히지는 않는다

캐시 일관성

  • x86 Kconfig는 ARCH_HAS_SYNC_DMA_FOR_DEVICE를 선택하지 않는다. DMA 매핑 때 캐시를 정리하지 않고 하드웨어 일관성에 맡긴다. 단 PCIe No Snoop 속성을 쓰는 DMA는 예외다
  • arm64는 장치가 non-coherent일 때 dcache_clean_poc, dcache_inval_poc로 캐시를 정리한다. coherent 여부는 장치마다 다르다(DT dma-coherent, ACPI _CCA)
  • 드라이버는 DMA API만 호출하고, 캐시 정리가 필요한지는 API가 판단한다
    • dma_alloc_coherent(): 정리가 필요 없는 메모리를 준다
    • dma_map_*/dma_unmap_*/dma_sync_*: 필요할 때만 정리한다
    • coherent/streaming 구분은 매핑의 수명과 소유권 구분이다. 커널 문서 표현: "Think of coherent as synchronous"

관련 노트

참고