faster-whisper 결과가 실행마다 달라지는 건 temperature fallback 샘플링이 이전 텍스트 이어받기로 번지는 탓으로 보인다
·수정 2026.10.07·수정 3회
요약
- 같은 오디오와 같은 디코딩 설정으로 faster-whisper를 두 번 돌렸는데 결과가 달랐다. 갈라진 지점 19곳 중 17곳은 그 구간이나 바로 앞뒤 구간에서 temperature fallback이 돌았다
- fallback은 무작위 샘플링으로 그 창을 다시 뽑는다. (추론) 이어받기(
condition_on_previous_text=True)가 켜져 있으면 그 차이가 다음 창의 힌트로 들어가서 뒤로 번지는 것으로 보인다. 상관관계와 반복 측정에서 나온 정황 근거다 - 이어받기를 끄면 4파일 × 3회 반복에서 결과가 글자 하나까지 매번 같았다
본문
관측: 같은 설정인데 결과가 갈라진다
- 조건: large-v3, GPU L4 fp16, greedy + VAD, 기본 설정(이어받기 켬, fallback 켬), kcsc 한국어 대화 22파일
- 디코딩 설정은 같게 두고 두 번 돌려서 비교했다. 다만 두 번째 실행은 파일 경로 대신 미리 디코딩한 오디오 배열을 넘겼고 구간별 통계를 추가로 저장했다. 교란 변수를 완전히 없앤 대조는 아니다
- 3파일은 완전히 같았다. 세 파일 모두 fallback이 돈 구간이 0개였다
- 19파일은 중간까지 글자 하나까지 같다가 어느 지점에서 갈라졌다. 갈라진 지점 19곳 중 17곳(89%)이 fallback이 돈 구간이거나 그 바로 앞뒤 구간이었다. fallback 구간은 전체 구간의 13.3%다. 앞뒤 구간까지 넓히면 우연히 걸릴 비율도 커지지만 최대 약 40%(13.3% × 3)라서, 89%는 이보다 높다
- 갈라진 뒤 텍스트가 달라졌고 파일 CER이 최대 0.05 차이 났다. 끝까지 다시 합쳐지지 않았는지는 확인하지 않았다
- 예: 한 실행은 "아닌가 breakfastHour 느낌은…", 다른 실행은 "아닌가 아닌가 싶은 느낌도…"
원인 흐름
- 창 하나를 greedy(temperature 0)로 디코딩한다. 입력이 같으면 결과도 같다 (결정적)
- 결과가 이상하면 fallback이 작동한다. 이 판단도 입력이 같으면 결정적이다. faster-whisper 기본값은
compression_ratio_threshold=2.4(반복 의심),log_prob_threshold=-1.0(자신 없음)이다 - fallback은 temperature를 0.2 → 0.4 → … → 1.0으로 올리며 그 창을 무작위 샘플링으로 다시 뽑는다. (추론) 확인한 범위에서는 무작위가 끼어드는 곳이 여기뿐이다. 다른 비결정 요인(GPU 연산, 오디오 전달 방식 차이)을 배제하지는 못했다. faster-whisper 소스에서 샘플링은
sampling_topk: 0(전체 어휘에서 샘플링)이고 시드를 지정하지 않는다. CTranslate2는ctranslate2.set_random_seed()가 불리지 않으면std::random_device로 시드를 정한다(src/random.cc). 그래서 fallback 샘플링 결과는 실행마다 달라질 수 있다- 이어받기를 켠 채 재현성이 필요하면 첫
transcribe()전에ctranslate2.set_random_seed(고정값)을 부르는 방법이 있다. 난수 생성기가 스레드마다 처음 쓸 때 시드를 읽기 때문이다. 효과는 미검증이고,num_workers가 2 이상이면 작업이 어느 스레드에 배정되느냐에 따라 여전히 달라질 수 있다(추론)
- 이어받기를 켠 채 재현성이 필요하면 첫
- 이어받기가 켜져 있으면 달라진 텍스트가 다음 창의 힌트가 된다(문서에 나온 동작). 창 시작 위치는 이어받기와 상관없이 앞 창 출력의 마지막 타임스탬프로 정해진다(
transcribe.py:1071-1079). 그래서 한 창의 fallback 결과가 달라지면, 이어받기를 꺼도 뒤 창 경계가 바뀌고 그 뒤 fallback 판단(2번)도 달라질 수 있다- 참고:
prompt_reset_on_temperature=0.5가 기본값이라 temperature가 0.5를 넘으면 다음 창 힌트를 비운다. 이어받기 설정은 이 힌트에만 쓰이고 창 시작 위치 계산에는 쓰이지 않는다(transcribe.py:1372-1383)
- 참고:
이어받기를 끄면 결정적이 된다
- 반복 측정 결과 (4파일 × 3회, VAD 켬, GPU). 평균 CER과 시간까지 담은 전체 표는 faster-whisper large-v3 한국어 대화 전사는 greedy + VAD + 이어받기 끔이 가장 빨랐고 정확도도 비슷했다에 있다:
| 조건 | 3회 결과가 서로 달랐던 파일 | 실행 간 CER 편차 |
|---|---|---|
| 이어받기 켬 + greedy | 4파일 중 3개 | 0.017 |
| 이어받기 켬 + beam5 | 4파일 중 4개 | 0.052 |
| 이어받기 끔 + greedy | 0개 | 0 |
| 이어받기 끔 + beam5 | 0개 | 0 |
- 이어받기를 켠 greedy 중 유일하게 3회가 같았던 파일(A0055_S0006_0_G0110)은 앞 분석에서 fallback이 0번이었던 파일이다
- (추론) 이어받기를 끈 실행에서 3회가 완전히 같았다는 건 fallback이 아예 안 돌았다는 뜻으로 본다. 돌았다면 무작위 샘플링이라 같은 결과가 나오기 어렵다. 다만 모든 temperature가 기준을 못 넘으면 평균 로그확률이 가장 높은 후보를 고르므로(
transcribe.py:1517-1520), temperature 0 결과가 뽑혀 fallback이 돌고도 결과가 같았을 수는 있다. 이유는 이렇게 본다: 루프는 주로 오염된 이전 텍스트를 힌트로 받아서 생기는데, 이어받기를 끄면 창마다 앞 텍스트 힌트 없이 시작하니 fallback 조건에 덜 걸린다. 반복 측정에서는 창별 fallback 여부를 기록하지 않아서 직접 확인하지는 못했다 - faster-whisper 문서의 설명:
condition_on_previous_text: If True, the previous output of the model is provided as a prompt for the next window; disabling may make the text inconsistent across windows, but the model becomes less prone to getting stuck in a failure loop, such as repetition looping or timestamps going out of sync.
왜 중요한가
- 서비스에서 같은 파일을 다시 돌렸는데 다른 결과가 나오면 고객 문의를 재현할 수 없다
- 같은 설정을 다시 돌리기만 해도 파일 CER이 최대 0.05 흔들렸다. 그래서 (추론) greedy와 beam5를 파일 몇 개로 비교하면 fallback 운 때문에 번갈아 이기는 것처럼 보일 수 있다. 비교 실험을 하기 전에 결정성부터 확보해야 한다
- (추론) fallback이 temperature 0.8~1.0까지 올라간 구간이 있었다. "paradox vai implemented" 같은 엉뚱한 라틴 문자 환각이 거기서 나왔을 가능성이 있다(미검증)
관련 노트
- 정답 전사가 없어도 변형 간 이탈 패턴으로 오디오 열화를 판별할 수 있다 — 실행 편차 때문에 무손실 전사 기준 CER 순위가 뒤집힌 사례
- faster-whisper large-v3 한국어 대화 전사는 greedy + VAD + 이어받기 끔이 가장 빨랐고 정확도도 비슷했다 — 같은 4파일 × 3회 실험의 전체 표와, 결과가 매번 같았던 설정
- Whisper large-v3로 한국어 대화를 전사하면 beam search는 greedy보다 정확도 이득이 거의 없다 — 이어받기를 켠 조건의 beam5와 greedy 비교
- Whisper에 numpy 배열을 넘기면 리샘플 없이 16kHz로 간주한다 — 두 번째 실행에서 오디오 배열을 넘길 때의 전제
- WhisperX는 VAD로 청크 의존성을 제거해 배치 추론을 가능하게 한다
- faster-whisper BatchedInferencePipeline은 production blocker급 미해결 이슈가 다수 있다
- Whisper 음성 처리와 최적화 방식
참고
- faster-whisper 1.2.1
transcribe.py(기본값 temperature [0.0, 0.2, 0.4, 0.6, 0.8, 1.0], compression_ratio_threshold 2.4, log_prob_threshold -1.0, prompt_reset_on_temperature 0.5) - CTranslate2
src/random.cc(시드 기본값): https://github.com/OpenNMT/CTranslate2/blob/master/src/random.cc
이 문서를 참조하는 노트 (8)
- Whisper large-v3로 한국어 대화를 전사하면 beam search는 greedy보다 정확도 이득이 거의 없다
- Whisper 음성 처리와 최적화 방식
- WhisperX는 VAD로 청크 의존성을 제거해 배치 추론을 가능하게 한다
- Whisper에 numpy 배열을 넘기면 리샘플 없이 16kHz로 간주한다
- faster-whisper BatchedInferencePipeline은 production blocker급 미해결 이슈가 다수 있다
- faster-whisper large-v3 한국어 대화 전사는 greedy + VAD + 이어받기 끔이 가장 빨랐고 정확도도 비슷했다
- faster-whisper는 타임스탬프를 끄면 한국어 통화 전사가 순차 기본값보다 4~5% 짧아진다
- 정답 전사가 없어도 변형 간 이탈 패턴으로 오디오 열화를 판별할 수 있다