Zettelkasten

Whisper 음성 처리와 최적화 방식

·수정 2026.10.14·수정 8회

요약

  • Whisper는 30초 단위 sliding window로 추론하며, faster-whisper(CTranslate2)로 가속 가능
  • 긴 음성을 직접 쪼개고 앞 조각 텍스트를 initial_prompt로 넘기는 건 이어받기(condition_on_previous_text)와 같은 프롬프트 칸을 쓴다. 한국어 통화 측정에서는 효과가 엇갈렸고, 켜 두면 실행마다 결과가 달라지는 문제가 따라왔다

본문

30초 이상 음성 처리 방식

  • Whisper는 오디오를 30초 길이의 Mel Spectrogram으로 변환해 모델에 입력함
  • 30초 보다 길면 sliding window를 사용해서 30초씩 잘라서 여러번 추론하는데, overlap을 N초 기준으로
    • 0~ 30s, 25 ~ 55s, 50 ~ 80s 이런식으로 겹치면서 추론함
  • chunk 단위에서 attention이 작동해서, 30초 이상 장기 문맥을 모델이 직접 기억하지 못함

faster-whisper vs whisper

  • CTranslate2를 활용해서 OpenAI Whisper 모델을 실행시킨 버전
  • CTranslate2는 C++를 이용해서, 트랜스포머 추론을 가속화한 모델
  • 구현 내용:
    • weights quantization
    • layers fusion
    • batch reordering

음성 쪼개기와 앞 텍스트 프롬프트

  • https://github.com/openai/whisper/discussions/1913
    • 질문자가 긴 음성을 짧은 조각으로 직접 잘라 따로 전사했더니 품질이 떨어졌다. 채택된 답변: 잘라서 앞 문맥을 잃었기 때문
    • 앞 조각 텍스트를 initial_prompt로 넘기면 "크게 개선될 수 있다"는 건 일반 사용자 댓글이고 수치가 없다
    • "Avoid extremely short segments (less than 1 second)"는 프롬프트가 아니라 조각 길이 얘기다. 1초 미만으로 자르지 말라는 뜻이고, 2ms 오디오에도 무언가를 지어낸다고 경고한다

initial_prompt와 이어받기는 같은 칸을 채운다 (faster-whisper v1.2.1 transcribe.py)

  • 둘 다 디코더 프롬프트의 <|startofprev|> 뒤, <|startoftranscript|> 앞에 들어가고, 마지막 223토큰(448 // 2 − 1)까지만 쓴다(:1549-1550)
  • all_tokens 맨 앞에 initial_prompt 토큰을 넣고(:1140-1149), 창마다 all_tokens[prompt_reset_since:]를 프롬프트로 쓴 뒤(:1187), 그 창 출력 토큰을 뒤에 붙인다(:1351)
  • 이어받기를 끄거나 그 창 temperature가 0.5를 넘으면 prompt_reset_since를 끝으로 옮겨 다음 창 프롬프트를 비운다(:1372-1383). 그래서 이어받기를 끄면 initial_prompt는 첫 창에만 들어간다
  • 예외: BatchedInferencePipeline은 모든 청크에 initial_prompt를 넣는다(:182-188). openai-whisper는 carry_initial_prompt=True면 매 창 앞에 붙인다(#2343). faster-whisper 1.2.1에는 이 옵션이 없다
  • 조각마다 transcribe()를 따로 부르면 호출마다 all_tokens가 비어서 시작한다. 그래서 #1913처럼 앞 조각 텍스트를 initial_prompt로 넘기는 건, 이어받기가 한 호출 안에서 하는 일을 호출 사이에서 손으로 하는 것이다

같은 칸이어도 들어가는 토큰은 다르다

  • 타임스탬프를 켜면(기본값) 이어받기는 타임스탬프 토큰이 붙은 출력 토큰을 그대로 넣는다. 세그먼트 토큰은 타임스탬프 토큰으로 시작하고 끝난다(:1052-1066). initial_prompt 문자열은 텍스트만 인코딩한다(:1145-1147)
    • without_timestamps=True면 둘 다 텍스트만 들어간다. initial_prompt에 문자열 대신 토큰 ID 목록을 넘기면 타임스탬프 토큰도 그대로 들어간다(:1148-1149)
  • (추론, 미확인) 직접 넘길 때는 디코딩한 텍스트를 앞에 공백을 붙여 다시 인코딩하므로, 토큰 분할이 모델 출력과 다를 수 있다
  • 이어받기는 빈 세그먼트를 빼고(:1348-1349), temperature가 0.5를 넘은 창 다음에서 프롬프트를 비운다. 직접 넘기면 이런 거르기가 없어서 앞 조각이 환각이어도 다음 조각의 힌트가 된다

한국어 통화 측정에서는 효과가 엇갈렸다

참고