faster-whisper는 타임스탬프를 끄면 한국어 통화 전사가 순차 기본값보다 4~5% 짧아진다
·수정 2회
요약
- 한국어 통화 녹음 20개(178분)에서 순차
transcribe()의without_timestamps만 True로 바꾸자 전사가 4.95.4% 짧아졌다(빠진 글자 1,1781,254자).BatchedInferencePipeline기본 실행(4.44.9%, 1,0791,186자)과 같은 수준이고, 순차 두 번 사이의 차이(146자)보다 훨씬 크다. 배치용 VAD 설정과 이어받기 끔은 이보다 덜 빠뜨렸고, 배치로 묶는 것 자체는 원인이 아니었다 - 순차
transcribe()는 출력에 연속 타임스탬프가 있으면 마지막 타임스탬프 위치로 seek해서 그 뒤를 다음 창에서 다시 디코딩하고, 없으면 창 하나(30초)를 통째로 넘긴다(코드 확인). 배치 청크를 타임스탬프 + seek로 다시 디코딩하면 빠진 글자가 약 절반으로 줄었다. 그래서 디코더가 창 안에서 건너뛴 말을 다시 볼 기회가 없어지는 것이 주된 경로로 보인다(정황) BatchedInferencePipeline은 기본값이without_timestamps=True이고 seek와 temperature fallback이 없다. 청크 경계를 디코딩 전에 고정하고 한꺼번에 디코딩하므로, 앞 청크 출력을 보고 다음 청크 시작점을 옮길 수 없다. 타임스탬프만 켜면 마지막 타임스탬프 뒤가 버려져 누락이 늘었고 속도는 절반으로 떨어졌으며, 그 꼬리를 살리면 반복 루프가 붙었다
본문
순차 transcribe가 다음 창 위치를 정하는 코드 (faster-whisper 1.2.1)
_split_segments_by_timestamps에서 출력에 연속 타임스탬프 쌍이 있으면:- 단일 타임스탬프로 끝나면(그 뒤에 말이 없다는 뜻) 창 전체만큼 넘긴다(
transcribe.py:1071-1073) - 아니면 끝나지 않은 구간을 버리고 마지막 타임스탬프 위치로 seek한다(
:1075-1079). 다음 창이 그 위치에서 시작하므로 버린 구간을 다시 디코딩한다
- 단일 타임스탬프로 끝나면(그 뒤에 말이 없다는 뜻) 창 전체만큼 넘긴다(
- 연속 타임스탬프 쌍이 없으면(타임스탬프를 끄면 항상 이 경우) 창 출력 전체를 구간 하나로 내고
seek += segment_size로 창 하나를 넘긴다(:1081-1099) - 1.1.0도 같은 구조다(
:1016-1024,:1026-1044) BatchedInferencePipeline은without_timestamps기본값이 True다(:283, 순차transcribe()는 False:776). temperature는 첫 값만 쓰고(:529),condition_on_previous_text=False로 고정하며(:547),_split_segments_by_timestamps를seek=0으로 부른 뒤 돌려받은 seek를 쓰지 않는다(:140)
측정 조건
- 한국어 통화 녹음 20개(178분, 모노), large-v3-turbo fp16, beam 5, VAD 켬,
language="ko", faster-whisper 1.1.0, GPU A10G - 정답 전사가 없다. 기본 설정 순차 실행 두 번(A, B)을 각각 기준으로 비교했다
- 글자 수는 공백·문장부호를 뺀 글자다. "빠진 글자"는 difflib로 맞춰 봤을 때 기준에 있고 비교 대상에는 거의 없는(대상 쪽 길이가 1/4 이하) 2자 이상 구간의 글자 합이다
- 측정은 세 세션에서 했고, 세션마다 기준 순차 실행을 새로 돌렸다. 아래 숫자는 출처 세션을 밝힌다
측정 1: 순차에서 설정을 하나씩 배치 쪽 값으로 바꾸기 (세 번째 세션)
| 실행 | 글자 수 변화 (기준 A / B 대비) | 빠진 글자 (A / B) |
|---|---|---|
| 순차 B (A 대비 잡음) | +0.49% | 146 |
| 배치 기본 (batch 8) | −4.43% / −4.89% | 1,079 / 1,186 |
| 순차 + 타임스탬프 끔 | −4.94% / −5.40% | 1,178 / 1,254 |
| 순차 + 배치용 VAD(최대 30초, 최소 침묵 160ms) | +2.28% / +1.78% | 426 / 498 |
| 순차 + 이어받기 끔 | −2.84% / −3.31% | 586 / 704 |
| 순차 + fallback 끔(temperature 0) | +3.30% / +2.80% | 1,245 / 1,250 |
- 타임스탬프 끔 하나로 배치 기본 실행만큼 빠진다
- fallback 끔은 성격이 다른 고장이다. 빠진 글자 대부분이 15자 이상 탈락(1,118 / 1,089자)이고, 기준에 없는 반복 루프·비한글 텍스트가 833~1,132자 붙었다
측정 2: 배치가 만든 청크는 그대로 두고 디코딩만 바꾸기 (두 번째 세션)
1.1.0 배치가 만든 청크 333개(침묵 포함 최대 30초)를 같은 경계로 다시 디코딩했다. 이 세션에서 배치 기본 실행은 기준 A 대비 글자 −4.67%, 빠진 글자 1,174자였다.
| 디코딩 방식 (같은 청크) | 빠진 글자 (A 대비) |
|---|---|
| 배치 기본 | 1,174 |
| 순차 함수, 타임스탬프 끔, temperature 0 | 1,179 |
| 위 + 청크 속 침묵을 잘라내고 말소리만 | 975 |
위 + 앞 청크 텍스트를 initial_prompt로 |
1,056 |
| 순차 함수, 타임스탬프 켬(청크 안에서 seek), temperature 0 | 642 |
- 배치 기본과 순차 함수 + 타임스탬프 끔이 거의 같다(1,174 vs 1,179). 누락이 난 청크를 하나씩(batch 1) 다시 돌려도 1개를 빼고 출력이 글자까지 같았다. 배치로 묶는 것과 배치 디코딩 구현은 원인이 아니다
- 누락 구간(6자 이상)을 fallback을 켜고 다시 디코딩해도 temperature 0일 때보다 더 돌아온 구간이 없었다
- 타임스탬프 + seek가 빠진 글자를 가장 많이 줄였다(1,174 → 642). 세 번째 세션에서 다시 재니 552
685자였다. 다만 fallback이 없어서 기준에 없는 텍스트가 1,2741,326자 붙었고 그중 1,173자가 반복 루프·비한글이었다 - 앞 청크 프롬프트는 짧은 통화 1개에서 프롬프트가 출력에 새어 글자가 19% 늘었다
빠진 것의 모양 (두 번째 세션, 배치 기본, 기준 A 대비 1,174자)
- 15자 이상 긴 탈락: 13건 440자
- 짧은 발화(2~14자) 하나가 통째로 빠짐: 61건 348자
- 발화 앞뒤가 잘림: 113자
- 바로 옆 반복이 하나로 합쳐짐: 48자
- 맞장구("네", "응" 등)만 빠짐: 26자
- 기타: 199자
- 2~5자 탈락은 배치에서 134건, 같은 세션의 순차 두 번 사이에서는 11건이었다
배치에서 타임스탬프만 켜면 (첫 번째 세션, 1.2.1, 15자 이상 누락 구간 수, 기준 A 대비)
- 배치 기본 13건 →
without_timestamps=False25건. 돌려받은 seek를 쓰지 않아서 마지막 타임스탬프 뒤의 끝나지 않은 구간이 그대로 버려진다 - 속도는 실시간 대비 159배에서 82배로 떨어졌다(batch 8, A10G)
- 배치가 seek를 쓸 수 없는 이유: 배치는 VAD로 청크 경계를 디코딩 전에 확정하고 여러 청크를 한 번에 디코딩한다. 청크 N+1은 청크 N과 동시에 디코딩되므로, N의 마지막 타임스탬프를 보고 N+1의 시작점을 옮길 수 없다. 순차는 다음 창 위치가 앞 창 출력에 달려 있어서 한 창씩 차례로 돌 수밖에 없다. 병렬로 묶으려면 경계를 미리 고정해야 하고 seek는 앞 결과에 따라 경계를 옮겨야 해서, 둘을 한 번의 병렬 디코딩에서 같이 가질 수 없다
- (설계안, 시험 안 함) 1차로 모든 청크를 타임스탬프를 켜고 배치 디코딩한 뒤, 단일 타임스탬프로 끝나지 않은 청크의 꼬리(마지막 타임스탬프부터 청크 끝까지)만 모아 2차 배치로 다시 디코딩할 수 있다. 그래도 순차와 같지는 않다. 순차에서는 꼬리가 다음 창의 앞부분이 되어 뒤따르는 말과 함께 30초 창으로 디코딩되지만, 2차 디코딩은 꼬리만 짧게 따로 디코딩하므로 청크 경계에 걸친 문장은 여전히 둘로 쪼개진다
- 그 구간을 마지막 세그먼트로 살리는 수정(개인 포크)을 넣으면 13건으로 돌아왔다. 대신 기준에 없는 텍스트가 9구간 1,026자 붙었고 그중 7구간이 반복 루프·비한글이었다. 반복 루프 수는 1개에서 11개로 늘었다
- (추론) 순차가 덜 빠뜨리는 건 타임스탬프, seek 재디코딩, fallback이 함께 돌기 때문으로 보인다. 셋을 모두 갖춘 배치 구성은 시험하지 않았다
한계
- 정답 전사가 없다. "빠진 글자"는 순차 기본값 대비이고, 그 구간이 실제 발화였는지는 들어 보지 않았다. 배치 기본의 빠진 글자 중 93자는 어떤 VAD(onset 0.2 포함)로도 말소리가 잡히지 않는 곳의 순차 텍스트였다. 순차 쪽 환각이나 시각 어긋남일 수 있다
- 기준 자체가 세션마다 흔들렸다. 첫 세션에서는 순차 두 번의 텍스트 차이(difflib)가 3.0%였고, 뒤 두 세션에서는 글자 수 차이가 0.01%, 0.49%였다
- 통화 20개, large-v3-turbo, faster-whisper 1.1.0(측정 1·2)이다. 1.2.1 배치는 청크에서 침묵을 빼고 말소리만 이어 붙이지만(PR #1297)
without_timestamps기본값은 그대로다 - 디코더가 애초에 왜 그 말을 건너뛰는지는 확인하지 못했다
- 이어받기 끔이 전사를 2.8~3.3% 짧게 만든 결과는 faster-whisper large-v3 한국어 대화 전사는 greedy + VAD + 이어받기 끔이 가장 빨랐고 정확도도 비슷했다의 정답 CER 결과(끄는 쪽이 나음)와 방향이 다르다. 이번 비교는 정답이 없어 "덜 받아 적었다"까지만 말할 수 있다
관련 노트
- faster-whisper BatchedInferencePipeline은 production blocker급 미해결 이슈가 다수 있다 — 그 노트가 인용한 #1179 "세그먼트 통째 누락"의 원인을 여기서 쟀다
- faster-whisper large-v3 한국어 대화 전사는 greedy + VAD + 이어받기 끔이 가장 빨랐고 정확도도 비슷했다 — 이어받기 끔 결과의 방향이 다르다(정답 유무 차이)
- faster-whisper 결과가 실행마다 달라지는 건 temperature fallback 샘플링이 이전 텍스트 이어받기로 번지는 탓으로 보인다 — 기준 순차 실행이 세션마다 흔들린 이유, fallback이 반복 루프를 막는 쪽
- WhisperX는 VAD로 청크 의존성을 제거해 배치 추론을 가능하게 한다 — WhisperX도 기본값이 타임스탬프 끔, 이어받기 끔이다
- 정답 전사가 없어도 변형 간 이탈 패턴으로 오디오 열화를 판별할 수 있다 — 정답 없이 전사를 비교할 때의 한계
- Whisper 음성 처리와 최적화 방식
참고
- https://github.com/SYSTRAN/faster-whisper/blob/v1.2.1/faster_whisper/transcribe.py
- https://github.com/SYSTRAN/faster-whisper/blob/v1.1.0/faster_whisper/transcribe.py
- https://github.com/SYSTRAN/faster-whisper/issues/1179
- https://github.com/SYSTRAN/faster-whisper/pull/1297
- https://github.com/m-bain/whisperX/blob/0c3742340973ef2f053633bdc597b1b73d28ed2e/whisperx/asr.py
이 문서를 참조하는 노트 (3)
함께 읽기 좋은 글
- Whisper large-v3로 한국어 대화를 전사하면 beam search는 greedy보다 정확도 이득이 거의 없다
- faster-whisper large-v3 한국어 대화 전사는 greedy + VAD + 이어받기 끔이 가장 빨랐고 정확도도 비슷했다
- faster-whisper 결과가 실행마다 달라지는 건 temperature fallback 샘플링이 이전 텍스트 이어받기로 번지는 탓으로 보인다
- Whisper에 numpy 배열을 넘기면 리샘플 없이 16kHz로 간주한다
- 정답 전사가 없어도 변형 간 이탈 패턴으로 오디오 열화를 판별할 수 있다