Zettelkasten

faster-whisper는 타임스탬프를 끄면 한국어 통화 전사가 순차 기본값보다 4~5% 짧아진다

·수정 2회

요약

  • 한국어 통화 녹음 20개(178분)에서 순차 transcribe()의 without_timestamps만 True로 바꾸자 전사가 4.95.4% 짧아졌다(빠진 글자 1,1781,254자). BatchedInferencePipeline 기본 실행(4.44.9%, 1,0791,186자)과 같은 수준이고, 순차 두 번 사이의 차이(146자)보다 훨씬 크다. 배치용 VAD 설정과 이어받기 끔은 이보다 덜 빠뜨렸고, 배치로 묶는 것 자체는 원인이 아니었다
  • 순차 transcribe()는 출력에 연속 타임스탬프가 있으면 마지막 타임스탬프 위치로 seek해서 그 뒤를 다음 창에서 다시 디코딩하고, 없으면 창 하나(30초)를 통째로 넘긴다(코드 확인). 배치 청크를 타임스탬프 + seek로 다시 디코딩하면 빠진 글자가 약 절반으로 줄었다. 그래서 디코더가 창 안에서 건너뛴 말을 다시 볼 기회가 없어지는 것이 주된 경로로 보인다(정황)
  • BatchedInferencePipeline은 기본값이 without_timestamps=True이고 seek와 temperature fallback이 없다. 청크 경계를 디코딩 전에 고정하고 한꺼번에 디코딩하므로, 앞 청크 출력을 보고 다음 청크 시작점을 옮길 수 없다. 타임스탬프만 켜면 마지막 타임스탬프 뒤가 버려져 누락이 늘었고 속도는 절반으로 떨어졌으며, 그 꼬리를 살리면 반복 루프가 붙었다

본문

순차 transcribe가 다음 창 위치를 정하는 코드 (faster-whisper 1.2.1)

  • _split_segments_by_timestamps에서 출력에 연속 타임스탬프 쌍이 있으면:
    • 단일 타임스탬프로 끝나면(그 뒤에 말이 없다는 뜻) 창 전체만큼 넘긴다(transcribe.py:1071-1073)
    • 아니면 끝나지 않은 구간을 버리고 마지막 타임스탬프 위치로 seek한다(:1075-1079). 다음 창이 그 위치에서 시작하므로 버린 구간을 다시 디코딩한다
  • 연속 타임스탬프 쌍이 없으면(타임스탬프를 끄면 항상 이 경우) 창 출력 전체를 구간 하나로 내고 seek += segment_size로 창 하나를 넘긴다(:1081-1099)
  • 1.1.0도 같은 구조다(:1016-1024, :1026-1044)
  • BatchedInferencePipeline은 without_timestamps 기본값이 True다(:283, 순차 transcribe()는 False :776). temperature는 첫 값만 쓰고(:529), condition_on_previous_text=False로 고정하며(:547), _split_segments_by_timestamps를 seek=0으로 부른 뒤 돌려받은 seek를 쓰지 않는다(:140)

측정 조건

  • 한국어 통화 녹음 20개(178분, 모노), large-v3-turbo fp16, beam 5, VAD 켬, language="ko", faster-whisper 1.1.0, GPU A10G
  • 정답 전사가 없다. 기본 설정 순차 실행 두 번(A, B)을 각각 기준으로 비교했다
  • 글자 수는 공백·문장부호를 뺀 글자다. "빠진 글자"는 difflib로 맞춰 봤을 때 기준에 있고 비교 대상에는 거의 없는(대상 쪽 길이가 1/4 이하) 2자 이상 구간의 글자 합이다
  • 측정은 세 세션에서 했고, 세션마다 기준 순차 실행을 새로 돌렸다. 아래 숫자는 출처 세션을 밝힌다

측정 1: 순차에서 설정을 하나씩 배치 쪽 값으로 바꾸기 (세 번째 세션)

실행 글자 수 변화 (기준 A / B 대비) 빠진 글자 (A / B)
순차 B (A 대비 잡음) +0.49% 146
배치 기본 (batch 8) −4.43% / −4.89% 1,079 / 1,186
순차 + 타임스탬프 끔 −4.94% / −5.40% 1,178 / 1,254
순차 + 배치용 VAD(최대 30초, 최소 침묵 160ms) +2.28% / +1.78% 426 / 498
순차 + 이어받기 끔 −2.84% / −3.31% 586 / 704
순차 + fallback 끔(temperature 0) +3.30% / +2.80% 1,245 / 1,250
  • 타임스탬프 끔 하나로 배치 기본 실행만큼 빠진다
  • fallback 끔은 성격이 다른 고장이다. 빠진 글자 대부분이 15자 이상 탈락(1,118 / 1,089자)이고, 기준에 없는 반복 루프·비한글 텍스트가 833~1,132자 붙었다

측정 2: 배치가 만든 청크는 그대로 두고 디코딩만 바꾸기 (두 번째 세션)

1.1.0 배치가 만든 청크 333개(침묵 포함 최대 30초)를 같은 경계로 다시 디코딩했다. 이 세션에서 배치 기본 실행은 기준 A 대비 글자 −4.67%, 빠진 글자 1,174자였다.

디코딩 방식 (같은 청크) 빠진 글자 (A 대비)
배치 기본 1,174
순차 함수, 타임스탬프 끔, temperature 0 1,179
위 + 청크 속 침묵을 잘라내고 말소리만 975
위 + 앞 청크 텍스트를 initial_prompt로 1,056
순차 함수, 타임스탬프 켬(청크 안에서 seek), temperature 0 642
  • 배치 기본과 순차 함수 + 타임스탬프 끔이 거의 같다(1,174 vs 1,179). 누락이 난 청크를 하나씩(batch 1) 다시 돌려도 1개를 빼고 출력이 글자까지 같았다. 배치로 묶는 것과 배치 디코딩 구현은 원인이 아니다
  • 누락 구간(6자 이상)을 fallback을 켜고 다시 디코딩해도 temperature 0일 때보다 더 돌아온 구간이 없었다
  • 타임스탬프 + seek가 빠진 글자를 가장 많이 줄였다(1,174 → 642). 세 번째 세션에서 다시 재니 552685자였다. 다만 fallback이 없어서 기준에 없는 텍스트가 1,2741,326자 붙었고 그중 1,173자가 반복 루프·비한글이었다
  • 앞 청크 프롬프트는 짧은 통화 1개에서 프롬프트가 출력에 새어 글자가 19% 늘었다

빠진 것의 모양 (두 번째 세션, 배치 기본, 기준 A 대비 1,174자)

  • 15자 이상 긴 탈락: 13건 440자
  • 짧은 발화(2~14자) 하나가 통째로 빠짐: 61건 348자
  • 발화 앞뒤가 잘림: 113자
  • 바로 옆 반복이 하나로 합쳐짐: 48자
  • 맞장구("네", "응" 등)만 빠짐: 26자
  • 기타: 199자
  • 2~5자 탈락은 배치에서 134건, 같은 세션의 순차 두 번 사이에서는 11건이었다

배치에서 타임스탬프만 켜면 (첫 번째 세션, 1.2.1, 15자 이상 누락 구간 수, 기준 A 대비)

  • 배치 기본 13건 → without_timestamps=False 25건. 돌려받은 seek를 쓰지 않아서 마지막 타임스탬프 뒤의 끝나지 않은 구간이 그대로 버려진다
  • 속도는 실시간 대비 159배에서 82배로 떨어졌다(batch 8, A10G)
  • 배치가 seek를 쓸 수 없는 이유: 배치는 VAD로 청크 경계를 디코딩 전에 확정하고 여러 청크를 한 번에 디코딩한다. 청크 N+1은 청크 N과 동시에 디코딩되므로, N의 마지막 타임스탬프를 보고 N+1의 시작점을 옮길 수 없다. 순차는 다음 창 위치가 앞 창 출력에 달려 있어서 한 창씩 차례로 돌 수밖에 없다. 병렬로 묶으려면 경계를 미리 고정해야 하고 seek는 앞 결과에 따라 경계를 옮겨야 해서, 둘을 한 번의 병렬 디코딩에서 같이 가질 수 없다
  • (설계안, 시험 안 함) 1차로 모든 청크를 타임스탬프를 켜고 배치 디코딩한 뒤, 단일 타임스탬프로 끝나지 않은 청크의 꼬리(마지막 타임스탬프부터 청크 끝까지)만 모아 2차 배치로 다시 디코딩할 수 있다. 그래도 순차와 같지는 않다. 순차에서는 꼬리가 다음 창의 앞부분이 되어 뒤따르는 말과 함께 30초 창으로 디코딩되지만, 2차 디코딩은 꼬리만 짧게 따로 디코딩하므로 청크 경계에 걸친 문장은 여전히 둘로 쪼개진다
  • 그 구간을 마지막 세그먼트로 살리는 수정(개인 포크)을 넣으면 13건으로 돌아왔다. 대신 기준에 없는 텍스트가 9구간 1,026자 붙었고 그중 7구간이 반복 루프·비한글이었다. 반복 루프 수는 1개에서 11개로 늘었다
  • (추론) 순차가 덜 빠뜨리는 건 타임스탬프, seek 재디코딩, fallback이 함께 돌기 때문으로 보인다. 셋을 모두 갖춘 배치 구성은 시험하지 않았다

한계

  • 정답 전사가 없다. "빠진 글자"는 순차 기본값 대비이고, 그 구간이 실제 발화였는지는 들어 보지 않았다. 배치 기본의 빠진 글자 중 93자는 어떤 VAD(onset 0.2 포함)로도 말소리가 잡히지 않는 곳의 순차 텍스트였다. 순차 쪽 환각이나 시각 어긋남일 수 있다
  • 기준 자체가 세션마다 흔들렸다. 첫 세션에서는 순차 두 번의 텍스트 차이(difflib)가 3.0%였고, 뒤 두 세션에서는 글자 수 차이가 0.01%, 0.49%였다
  • 통화 20개, large-v3-turbo, faster-whisper 1.1.0(측정 1·2)이다. 1.2.1 배치는 청크에서 침묵을 빼고 말소리만 이어 붙이지만(PR #1297) without_timestamps 기본값은 그대로다
  • 디코더가 애초에 왜 그 말을 건너뛰는지는 확인하지 못했다
  • 이어받기 끔이 전사를 2.8~3.3% 짧게 만든 결과는 faster-whisper large-v3 한국어 대화 전사는 greedy + VAD + 이어받기 끔이 가장 빨랐고 정확도도 비슷했다의 정답 CER 결과(끄는 쪽이 나음)와 방향이 다르다. 이번 비교는 정답이 없어 "덜 받아 적었다"까지만 말할 수 있다

관련 노트

참고