요약
- Whisper는 30초 단위 sliding window로 추론하며, faster-whisper(CTranslate2)로 가속 가능
- 긴 음성을 직접 쪼개고 앞 조각 텍스트를
initial_prompt로 넘기는 건 이어받기(condition_on_previous_text)와 같은 프롬프트 칸을 쓴다. 한국어 통화 측정에서는 효과가 엇갈렸고, 켜 두면 실행마다 결과가 달라지는 문제가 따라왔다
본문
30초 이상 음성 처리 방식
- Whisper는 오디오를 30초 길이의 Mel Spectrogram으로 변환해 모델에 입력함
- 30초 보다 길면 sliding window를 사용해서 30초씩 잘라서 여러번 추론하는데, overlap을 N초 기준으로
- 0~ 30s, 25 ~ 55s, 50 ~ 80s 이런식으로 겹치면서 추론함
- chunk 단위에서 attention이 작동해서, 30초 이상 장기 문맥을 모델이 직접 기억하지 못함
faster-whisper vs whisper
- CTranslate2를 활용해서 OpenAI Whisper 모델을 실행시킨 버전
- CTranslate2는 C++를 이용해서, 트랜스포머 추론을 가속화한 모델
- 구현 내용:
- weights quantization
- layers fusion
- batch reordering
음성 쪼개기와 앞 텍스트 프롬프트
- https://github.com/openai/whisper/discussions/1913
- 질문자가 긴 음성을 짧은 조각으로 직접 잘라 따로 전사했더니 품질이 떨어졌다. 채택된 답변: 잘라서 앞 문맥을 잃었기 때문
- 앞 조각 텍스트를
initial_prompt로 넘기면 "크게 개선될 수 있다"는 건 일반 사용자 댓글이고 수치가 없다 - "Avoid extremely short segments (less than 1 second)"는 프롬프트가 아니라 조각 길이 얘기다. 1초 미만으로 자르지 말라는 뜻이고, 2ms 오디오에도 무언가를 지어낸다고 경고한다
initial_prompt와 이어받기는 같은 칸을 채운다 (faster-whisper v1.2.1 transcribe.py)
- 둘 다 디코더 프롬프트의
<|startofprev|>뒤,<|startoftranscript|>앞에 들어가고, 마지막 223토큰(448 // 2 − 1)까지만 쓴다(:1549-1550) all_tokens맨 앞에initial_prompt토큰을 넣고(:1140-1149), 창마다all_tokens[prompt_reset_since:]를 프롬프트로 쓴 뒤(:1187), 그 창 출력 토큰을 뒤에 붙인다(:1351)- 이어받기를 끄거나 그 창 temperature가 0.5를 넘으면
prompt_reset_since를 끝으로 옮겨 다음 창 프롬프트를 비운다(:1372-1383). 그래서 이어받기를 끄면initial_prompt는 첫 창에만 들어간다 - 예외:
BatchedInferencePipeline은 모든 청크에initial_prompt를 넣는다(:182-188). openai-whisper는carry_initial_prompt=True면 매 창 앞에 붙인다(#2343). faster-whisper 1.2.1에는 이 옵션이 없다 - 조각마다
transcribe()를 따로 부르면 호출마다all_tokens가 비어서 시작한다. 그래서 #1913처럼 앞 조각 텍스트를initial_prompt로 넘기는 건, 이어받기가 한 호출 안에서 하는 일을 호출 사이에서 손으로 하는 것이다
같은 칸이어도 들어가는 토큰은 다르다
- 타임스탬프를 켜면(기본값) 이어받기는 타임스탬프 토큰이 붙은 출력 토큰을 그대로 넣는다. 세그먼트 토큰은 타임스탬프 토큰으로 시작하고 끝난다(
:1052-1066).initial_prompt문자열은 텍스트만 인코딩한다(:1145-1147)without_timestamps=True면 둘 다 텍스트만 들어간다.initial_prompt에 문자열 대신 토큰 ID 목록을 넘기면 타임스탬프 토큰도 그대로 들어간다(:1148-1149)
- (추론, 미확인) 직접 넘길 때는 디코딩한 텍스트를 앞에 공백을 붙여 다시 인코딩하므로, 토큰 분할이 모델 출력과 다를 수 있다
- 이어받기는 빈 세그먼트를 빼고(
:1348-1349), temperature가 0.5를 넘은 창 다음에서 프롬프트를 비운다. 직접 넘기면 이런 거르기가 없어서 앞 조각이 환각이어도 다음 조각의 힌트가 된다
한국어 통화 측정에서는 효과가 엇갈렸다
- 정답이 있는 4파일 × 3회: 이어받기를 끄자 greedy CER이 0.139 → 0.131, beam5가 0.165 → 0.129로 내려갔다. 4파일 중 1개만 켠 쪽이 나았다. 끈 쪽은 결과가 매번 같았고 1.8배 빨랐다. faster-whisper large-v3 한국어 대화 전사는 greedy + VAD + 이어받기 끔이 가장 빨랐고 정확도도 비슷했다
- 켜 두면 fallback 샘플링 차이가 다음 창 프롬프트를 타고 번져 실행마다 결과가 달라졌다. faster-whisper 결과가 실행마다 달라지는 건 temperature fallback 샘플링이 이전 텍스트 이어받기로 번지는 탓으로 보인다
- 정답이 없는 통화 20개: 이어받기를 끄자 전사가 2.8
3.3% 짧아져 위 CER 결과와 방향이 반대였다. 직접 자른 청크에 앞 청크 텍스트를5% 짧아진다]]initial_prompt로 넣었을 때는 빠진 글자가 1,056자로 타임스탬프 + seek(642자)보다 덜 줄었고, 짧은 통화 1개에서는 프롬프트가 출력에 새어 글자가 19% 늘었다. [[faster-whisper는 타임스탬프를 끄면 한국어 통화 전사가 순차 기본값보다 4 - Whisper 논문 Table 7(영어 장문)에서는 이어받기를 더하자 평균 WER이 10.2 → 10.0이었지만, 데이터셋 하나는 나빠졌다
참고
- faster-whisper 결과가 실행마다 달라지는 건 temperature fallback 샘플링이 이전 텍스트 이어받기로 번지는 탓으로 보인다
- faster-whisper large-v3 한국어 대화 전사는 greedy + VAD + 이어받기 끔이 가장 빨랐고 정확도도 비슷했다
- Whisper large-v3로 한국어 대화를 전사하면 beam search는 greedy보다 정확도 이득이 거의 없다
- whisperkit - streaming speech to text
- ctranslate2의 GIL 해제와 num_workers는 독립적인 두 메커니즘이다
- ctranslate2 num_workers는 가중치를 공유하고 worker별 메모리는 호출 중에만 늘어난다
- Flash Attention은 어텐션을 칩 안 SRAM에서 블록 단위로 계산해 N×N 행렬의 HBM 왕복을 없앤다
- https://github.com/SYSTRAN/faster-whisper/blob/v1.2.1/faster_whisper/transcribe.py
- https://github.com/openai/whisper/pull/2343
이 문서를 참조하는 노트 (13)
- Flash Attention은 어텐션을 칩 안 SRAM에서 블록 단위로 계산해 N×N 행렬의 HBM 왕복을 없앤다
- Whisper large-v3로 한국어 대화를 전사하면 beam search는 greedy보다 정확도 이득이 거의 없다
- Whisper에 numpy 배열을 넘기면 리샘플 없이 16kHz로 간주한다
- ctranslate2 num_workers는 가중치를 공유하고 worker별 메모리는 호출 중에만 늘어난다
- ctranslate2의 GIL 해제와 num_workers는 독립적인 두 메커니즘이다
- faster-whisper BatchedInferencePipeline은 production blocker급 미해결 이슈가 다수 있다
- faster-whisper large-v3 한국어 대화 전사는 greedy + VAD + 이어받기 끔이 가장 빨랐고 정확도도 비슷했다
- faster-whisper 결과가 실행마다 달라지는 건 temperature fallback 샘플링이 이전 텍스트 이어받기로 번지는 탓으로 보인다
- faster-whisper는 타임스탬프를 끄면 한국어 통화 전사가 순차 기본값보다 4~5% 짧아진다
- 음성 AI 학습 입력은 인식·분석은 16kHz 모노, 합성은 24kHz 모노, full-duplex 대화는 화자별 2채널로 모인다
- 정답 전사가 없어도 변형 간 이탈 패턴으로 오디오 열화를 판별할 수 있다
- 정제된 사람 전사 ASR 코퍼스는 20만 시간대이고 약라벨·의사라벨로 수천만 시간까지 늘린다
- 트랜스포머 어텐션
함께 읽기 좋은 글
- Whisper에 numpy 배열을 넘기면 리샘플 없이 16kHz로 간주한다
- Encoder에서 self attention 계산시 Lower Triangular를 이용해 인과적 구조로 예측가능한 트랜스포머 구조를 만든다.
- faster-whisper는 타임스탬프를 끄면 한국어 통화 전사가 순차 기본값보다 4~5% 짧아진다
- Whisper large-v3로 한국어 대화를 전사하면 beam search는 greedy보다 정확도 이득이 거의 없다
- faster-whisper large-v3 한국어 대화 전사는 greedy + VAD + 이어받기 끔이 가장 빨랐고 정확도도 비슷했다