Flash Attention은 어텐션을 칩 안 SRAM에서 블록 단위로 계산해 N×N 행렬의 HBM 왕복을 없앤다
·수정 2026.10.07·수정 1회
요약
- 일반 어텐션은 N×N 점수 행렬을 GPU의 큰 메모리(HBM)에 썼다가 다시 읽는다. Flash Attention은 Q·K·V를 블록으로 쪼개 칩 안 SRAM에서 softmax와 V 곱까지 한 커널로 끝내, 이 왕복과 O(N²) 메모리를 없앤다
- softmax는 블록마다 "지금까지의 최댓값"과 지수 합을 들고 다니며 다시 스케일링한다. 그래서 쪼개도 수식상 근사가 아닌 정확한 어텐션이다. 다만 합산 순서가 달라 부동소수점 결과는 일반 어텐션과 비트 단위로 같지 않고, 빔 결정이 뒤집혀 출력 토큰이 달라질 수 있다
- CTranslate2 Whisper 포크에서는 flash 커널이 KV 캐시의 유효 길이 L까지만 읽는 걸 compute-sanitizer로 확인했다. 그래서 beam 재정렬 복사를 L칸으로 줄였고, flash beam5 디코드가 9~12% 빨라졌다(A10G, 토큰 동일)
본문
일반 어텐션이 느린 이유
- 계산은
S = Q·Kᵀ→P = softmax(S)→O = P·V - 길이 N이면 중간 행렬 S, P가 N×N. 일반 구현은 이걸 GPU의 큰 메모리(HBM)에 썼다가 다시 읽는다
- 병목은 계산량이 아니라 메모리 왕복이다. 메모리도 N²으로 늘어난다
Flash Attention의 두 가지 아이디어
- 타일링: Q, K, V를 작은 블록으로 쪼개 칩 안의 작고 빠른 메모리(SRAM)에 올리고, 점수 계산 → softmax → V 곱까지 커널 하나 안에서 끝낸다. N×N 행렬을 HBM에 쓰지 않는다
- online softmax: softmax는 원래 한 행 전체의 최댓값과 합이 필요하다. 블록마다 세 값을 들고 다닌다
- 지금까지의 최댓값
m, 지수 합l, 출력 누적O - 새 블록에서 더 큰 최댓값
m'이 나오면 기존l,O에e^(m − m')을 곱해 새 기준으로 다시 스케일링한 뒤 새 블록 값을 더한다 - 마지막에
O / l→ 전체를 한 번에 본 softmax와 수식상 같다. 다만 float16에서는 합산 순서가 달라 반올림도 달라진다. 포크 검증에서 flash를 켜면 40구성 중 8구성의 출력 토큰이 바뀌었다(거의 동률인 빔 결정이 뒤집힘) - 비유: 환율이 바뀔 때마다 모은 돈을 새 환율로 다시 환산해 두는 것
- 지금까지의 최댓값
- 결과: 메모리 O(N²) → O(N), 메모리 왕복이 줄어 긴 시퀀스일수록 빨라진다
CTranslate2 Whisper 포크 작업에서 만난 지점
- 업스트림 인코더 버그: v4.8.2는
flash_attention=True를 인코더에 전달하지 않는다. 포크는 라운드 1에서 인코더에도 flash를 켜도록 고쳤다. 그래서 flash-on 벤치 48구성 중 22구성에서 포크와 업스트림의 토큰이 달랐고, 포크 문서는 이를 인코더 계산 경로가 바뀌어 생기는 예상된 차이로 기록했다. 업스트림이 더 빨라 보이는 flash-on 구성 중에는 업스트림 출력이 짧게 망가진 경우가 있었다(예: large-v3 int8 ts-on beam5, 업스트림 11토큰 대 포크 35토큰) - 디코더 KV 캐시와
seqlens_k: flash 경로는 첫 forward에서 들어온 프롬프트 3토큰의 투영을 그대로 self-attention KV 캐시로 쓰고, 칸이 다 차면 여유 512칸(_offset_free_space)을 이어 붙여 515칸으로 둔다. 커널은seqlens_k, 곧 유효 길이 L까지만 읽는다. 그런데 beam 재정렬(gather)은 매 스텝 515칸 전체를 복사하고 있었다 — whisper-small fp16 beam5 batch1에서 디코드 1회의 GPU 시간 약 50ms 중 5.9ms가 이 복사였다 - 라운드 6 prefix gather: 커널이 L 뒤를 읽지 않는 걸 CUDA compute-sanitizer(memcheck·initcheck)로 확인한 뒤 유효 L칸만 복사하게 바꿨다 → gather 370us → 7.3us/launch, flash beam5 전체 -9~-12% (A10G, 토큰 동일)
- flash가 아닌 경로와의 차이: graphs/패딩 모드의 일반 어텐션은 캐시 뒤 빈칸도 마스크를 씌워 읽는다. 그래서 그냥 잘라낼 수 없고, 빈칸이 항상 0으로 유지되도록 보장하는
keep_tail방식이 필요했다 - 교훈(이 사례에서의 추정): 커널이 실제로 어디까지 읽는지를 sanitizer 등으로 증명할 수 있으면, 그 바깥의 방어적 복사는 줄여도 안전할 가능성이 높다 — 다른 커널에도 일반화되는지는 아직 검증 안 됨
관련 노트
- Transformer에서 self attention 계산 과정 — Flash Attention이 최적화하는 QKᵀ → softmax → PV 계산 자체
- Encoder에서 self attention 계산시 Lower Triangular를 이용해 인과적 구조로 예측가능한 트랜스포머 구조를 만든다. — 인과적 구조라 이전 KV를 재사용 → 디코더 KV 캐시의 전제
- ctranslate2 num_workers는 가중치를 공유하고 worker별 메모리는 호출 중에만 늘어난다 — 같은 CT2 디코더의 KV 캐시·beam state 메모리
- ctranslate2의 GIL 해제와 num_workers는 독립적인 두 메커니즘이다 — 같은 CT2/faster-whisper 실험 시리즈
- Whisper 음성 처리와 최적화 방식 — faster-whisper(CTranslate2) 가속 원리 배경
참고
- FlashAttention: https://arxiv.org/abs/2205.14135
- FlashAttention-2: https://arxiv.org/abs/2307.08691