Zettelkasten

Flash Attention은 어텐션을 칩 안 SRAM에서 블록 단위로 계산해 N×N 행렬의 HBM 왕복을 없앤다

·수정 2026.10.07·수정 1회

요약

  • 일반 어텐션은 N×N 점수 행렬을 GPU의 큰 메모리(HBM)에 썼다가 다시 읽는다. Flash Attention은 Q·K·V를 블록으로 쪼개 칩 안 SRAM에서 softmax와 V 곱까지 한 커널로 끝내, 이 왕복과 O(N²) 메모리를 없앤다
  • softmax는 블록마다 "지금까지의 최댓값"과 지수 합을 들고 다니며 다시 스케일링한다. 그래서 쪼개도 수식상 근사가 아닌 정확한 어텐션이다. 다만 합산 순서가 달라 부동소수점 결과는 일반 어텐션과 비트 단위로 같지 않고, 빔 결정이 뒤집혀 출력 토큰이 달라질 수 있다
  • CTranslate2 Whisper 포크에서는 flash 커널이 KV 캐시의 유효 길이 L까지만 읽는 걸 compute-sanitizer로 확인했다. 그래서 beam 재정렬 복사를 L칸으로 줄였고, flash beam5 디코드가 9~12% 빨라졌다(A10G, 토큰 동일)

본문

일반 어텐션이 느린 이유

  • 계산은 S = Q·Kᵀ → P = softmax(S) → O = P·V
  • 길이 N이면 중간 행렬 S, P가 N×N. 일반 구현은 이걸 GPU의 큰 메모리(HBM)에 썼다가 다시 읽는다
  • 병목은 계산량이 아니라 메모리 왕복이다. 메모리도 N²으로 늘어난다

Flash Attention의 두 가지 아이디어

  1. 타일링: Q, K, V를 작은 블록으로 쪼개 칩 안의 작고 빠른 메모리(SRAM)에 올리고, 점수 계산 → softmax → V 곱까지 커널 하나 안에서 끝낸다. N×N 행렬을 HBM에 쓰지 않는다
  2. online softmax: softmax는 원래 한 행 전체의 최댓값과 합이 필요하다. 블록마다 세 값을 들고 다닌다
    • 지금까지의 최댓값 m, 지수 합 l, 출력 누적 O
    • 새 블록에서 더 큰 최댓값 m'이 나오면 기존 l, O에 e^(m − m')을 곱해 새 기준으로 다시 스케일링한 뒤 새 블록 값을 더한다
    • 마지막에 O / l → 전체를 한 번에 본 softmax와 수식상 같다. 다만 float16에서는 합산 순서가 달라 반올림도 달라진다. 포크 검증에서 flash를 켜면 40구성 중 8구성의 출력 토큰이 바뀌었다(거의 동률인 빔 결정이 뒤집힘)
    • 비유: 환율이 바뀔 때마다 모은 돈을 새 환율로 다시 환산해 두는 것
  • 결과: 메모리 O(N²) → O(N), 메모리 왕복이 줄어 긴 시퀀스일수록 빨라진다

CTranslate2 Whisper 포크 작업에서 만난 지점

  • 업스트림 인코더 버그: v4.8.2는 flash_attention=True를 인코더에 전달하지 않는다. 포크는 라운드 1에서 인코더에도 flash를 켜도록 고쳤다. 그래서 flash-on 벤치 48구성 중 22구성에서 포크와 업스트림의 토큰이 달랐고, 포크 문서는 이를 인코더 계산 경로가 바뀌어 생기는 예상된 차이로 기록했다. 업스트림이 더 빨라 보이는 flash-on 구성 중에는 업스트림 출력이 짧게 망가진 경우가 있었다(예: large-v3 int8 ts-on beam5, 업스트림 11토큰 대 포크 35토큰)
  • 디코더 KV 캐시와 seqlens_k: flash 경로는 첫 forward에서 들어온 프롬프트 3토큰의 투영을 그대로 self-attention KV 캐시로 쓰고, 칸이 다 차면 여유 512칸(_offset_free_space)을 이어 붙여 515칸으로 둔다. 커널은 seqlens_k, 곧 유효 길이 L까지만 읽는다. 그런데 beam 재정렬(gather)은 매 스텝 515칸 전체를 복사하고 있었다 — whisper-small fp16 beam5 batch1에서 디코드 1회의 GPU 시간 약 50ms 중 5.9ms가 이 복사였다
  • 라운드 6 prefix gather: 커널이 L 뒤를 읽지 않는 걸 CUDA compute-sanitizer(memcheck·initcheck)로 확인한 뒤 유효 L칸만 복사하게 바꿨다 → gather 370us → 7.3us/launch, flash beam5 전체 -9~-12% (A10G, 토큰 동일)
  • flash가 아닌 경로와의 차이: graphs/패딩 모드의 일반 어텐션은 캐시 뒤 빈칸도 마스크를 씌워 읽는다. 그래서 그냥 잘라낼 수 없고, 빈칸이 항상 0으로 유지되도록 보장하는 keep_tail 방식이 필요했다
  • 교훈(이 사례에서의 추정): 커널이 실제로 어디까지 읽는지를 sanitizer 등으로 증명할 수 있으면, 그 바깥의 방어적 복사는 줄여도 안전할 가능성이 높다 — 다른 커널에도 일반화되는지는 아직 검증 안 됨

관련 노트

참고