요약
- 오디오 설정을 바꿔가며 STT 품질을 비교할 때, 무손실 쪽 전사를 정답 삼아 오차율을 재면 모델 자체의 실행 편차에 묻힌다. 실제로 가장 고음질인 설정이 가장 많이 어긋났다.
- 대신 여러 변형의 전사를 같은 자리끼리 늘어놓고 "다수와 갈라지는 설정이 어디인가"를 본다. 정답을 몰라도 이탈 자체가 증거가 된다.
- 다만 다수결은 정답이 아니므로, 이 방법은 "어떤 설정이 나쁜가"는 가려도 "남은 것들 중 어느 쪽이 정확한가"는 못 가린다.
본문
안 되는 방법: 무손실 전사를 정답 삼아 오차율 재기
원본 오디오의 전사를 기준으로 각 변형의 글자 오차율(CER)을 쟀더니 순서가 역전됐다.
| 설정 | 기준 전사 대비 CER |
|---|---|
| 32 kbps | 11.8% |
| 24 kbps | 7.0% |
| 16 kbps | 6.5% |
| 12 kbps | 7.0% |
| 8 kbps | 9.4% |
비트레이트가 가장 높은 설정이 가장 많이 어긋났다. 기준 자체가 모델 출력이고, 그 출력이 실행마다 흔들릴 수 있기 때문이다. faster-whisper 기본 설정(이어받기 켬, temperature fallback 켬)에서는 fallback이 창 하나를 무작위 샘플링으로 다시 뽑아서, 같은 음성도 실행마다 조사·어미가 달라질 수 있다. 이어받기를 끄면 같은 파일을 3번 돌린 결과가 글자 하나까지 같았다(faster-whisper 결과가 실행마다 달라지는 건 temperature fallback 샘플링이 이전 텍스트 이어받기로 번지는 탓으로 보인다). 이 편차가 열화 신호보다 크면 수치의 절대값도 순위도 믿을 수 없게 된다.
되는 방법: 이탈 패턴 보기
전사들을 같은 발화 자리끼리 표로 늘어놓고, 각 설정이 무엇으로 들었는지 비교한다.
- 다수가 A로 듣는 자리에서 특정 설정들만 B로 갈라지면, 그 설정에서 무언가 사라졌다는 뜻이다. 정답이 A인지 B인지는 몰라도 된다
- 갈라지는 자리가 여러 개인데 매번 같은 설정들에서만 나오면 우연이 아니다
- 반대로 각 설정이 서로 다른 자리에서 제각기 틀리면 방향성이 없는 것이고, 그건 모델 편차다
실측에서는 변형 6개 중 대역이 좁은 두 설정만 다섯 자리에서 같은 방식으로 갈라졌다. 나머지 설정들은 각자 다른 데서 틀려 규칙이 없었다. 비트레이트와 입력 샘플링 레이트에 따라 코딩 대역이 어떻게 좁아지는지는 목표 비트레이트로 인코딩하면 샘플링 레이트를 낮춰도 파일이 작아지지 않는다에 있다.
교차 확인으로 기전을 세운다
이탈이 왜 생겼는지는 전사가 아닌 신호 쪽에서 따로 잰다. 음성 구간의 대역별 에너지를 원본과 비교했더니, 전사가 갈라진 그 두 설정만 3.4kHz 위가 무너져 있었다. 예측(대역 손실)과 관찰(전사 이탈)이 같은 대상을 가리키면 기전이 선다.
음성학 쪽 근거도 같은 방향이다. 영어 무성 치찰음 /s/는 주 스펙트럼 피크가 약 45kHz, 스펙트럼 평균이 56kHz에 있다. /ʃ, ʒ/는 피크가 2.53kHz로 오히려 4kHz 아래에 있다(Jongman). 저역통과 실험에서 정상 청력 청자의 /s/ 식별률은 3kHz에서 42%, 4kHz에서 76%였다(Yadav). 남성 화자의 /s/는 45kHz 대역에서 최고 성적에 닿았지만, 여성·아동 화자는 9kHz까지 열어야 닿았다(Stelmachowicz). (추론) 그래서 협대역에서 생기는 혼동은 치찰음이 다 안 들려서라기보다, /s/의 고역 피크만 잘려 나가 남은 모양이 /ʃ/에 가까워지기 때문일 수 있다. 이번에 갈라진 다섯 자리가 마찰음 자리였는지는 확인하지 않았다. 한국어 마찰음·파찰음의 수치는 1차 출처를 확보하지 못해 미검증으로 둔다.
한계
- 다수결은 정답이 아니다. 모든 변형이 같은 방식으로 틀렸다면 이 방법으로는 안 잡힌다
- 하한선(어디부터 무너지는가)은 가려도, 그 위 구간의 우열은 못 가린다. 그건 사람이 받아쓴 정답이 있어야 한다
- 그래서 실무에서는 이 방법으로 바닥을 찾고, 그 위 선택은 다른 기준(비용 차이, 안전 마진)으로 한다
환각을 열화로 오해하지 말 것
무음 구간에서 학습 데이터 조각(자막 크레딧 문구, 숫자 나열 등)을 뱉는 현상은 비트레이트와 무관하게 나타났다. 특정 설정에서만 나오는지 여러 변형을 비교해 확인해야 열화 신호와 구분된다.
전제: STT는 8kHz 초과 대역을 쓰지 않는다
Whisper 계열(openai/whisper, faster-whisper, whisperX)은 모두 16kHz를 전제로 한다. 파일 경로를 넣으면(faster-whisper는 파일 객체도) 16kHz 모노로 리샘플한 뒤 0~8kHz를 덮는 log-Mel spectrogram을 만든다. 채널 수는 논문의 모델이 80, large-v3가 128이다. 따라서 48kHz로 저장해도 8kHz 초과 대역은 STT에 쓰이지 않는다.
주의할 점이 하나 있다. numpy 배열을 직접 넘기면 리샘플이 일어나지 않고 16kHz라고 가정한다. 48kHz 배열을 그대로 넘기면 1초가 3초로 읽혀서, 1/3 속도로 느려지고 음정이 낮아진 오디오로 해석된다. 그러면 전사가 망가진다. 소스 근거는 Whisper에 numpy 배열을 넘기면 리샘플 없이 16kHz로 간주한다에 정리했다.
관련 노트
- faster-whisper 결과가 실행마다 달라지는 건 temperature fallback 샘플링이 이전 텍스트 이어받기로 번지는 탓으로 보인다 — 기준 전사가 실행마다 흔들린 원인(기본 설정의 fallback 샘플링)
- faster-whisper large-v3 한국어 대화 전사는 greedy + VAD + 이어받기 끔이 가장 빨랐고 정확도도 비슷했다 — 반복 실행해도 결과가 같았던 설정(이어받기 끔)
- Whisper large-v3로 한국어 대화를 전사하면 beam search는 greedy보다 정확도 이득이 거의 없다 — beam5와 greedy의 정확도 비교
- Whisper에 numpy 배열을 넘기면 리샘플 없이 16kHz로 간주한다 — 전제 단락의 배열 입력 함정을 소스로 확인한 노트
- 목표 비트레이트로 인코딩하면 샘플링 레이트를 낮춰도 파일이 작아지지 않는다
- Whisper 음성 처리와 최적화 방식
- WhisperX는 VAD로 청크 의존성을 제거해 배치 추론을 가능하게 한다
- Opus VBR은 오디오 복잡도에 따라 bitrate를 실시간으로 조절한다
참고
- Radford et al. (2022), Robust Speech Recognition via Large-Scale Weak Supervision, arXiv:2212.04356 §2.2: https://arxiv.org/abs/2212.04356
- openai/whisper
whisper/audio.py(SAMPLE_RATE = 16000, mel 필터 상한): https://github.com/openai/whisper/blob/main/whisper/audio.py - SYSTRAN/faster-whisper
faster_whisper/audio.py,transcribe.py(ndarray 입력 시 리샘플 생략): https://github.com/SYSTRAN/faster-whisper/blob/master/faster_whisper/audio.py - Jongman, A. — Phonetics of Fricatives, Oxford Research Encyclopedia of Linguistics: https://kuppl.ku.edu/sites/kuppl/files/documents/publications/Jongman%20OREL%202024%20Phonetics%20of%20Fricatives.pdf
- Yadav, N. (2011), Theory and Practice in Language Studies 1(12), 1679-1687 (저역통과별 /s/ 식별률): https://www.academypublication.com/issues/past/tpls/vol01/12/02.pdf
- Stelmachowicz et al. (2001), JASA 110(4), 2183: https://pubmed.ncbi.nlm.nih.gov/11681394/
이 문서를 참조하는 노트 (5)
- Whisper large-v3로 한국어 대화를 전사하면 beam search는 greedy보다 정확도 이득이 거의 없다
- Whisper에 numpy 배열을 넘기면 리샘플 없이 16kHz로 간주한다
- faster-whisper large-v3 한국어 대화 전사는 greedy + VAD + 이어받기 끔이 가장 빨랐고 정확도도 비슷했다
- faster-whisper 결과가 실행마다 달라지는 건 temperature fallback 샘플링이 이전 텍스트 이어받기로 번지는 탓으로 보인다
- faster-whisper는 타임스탬프를 끄면 한국어 통화 전사가 순차 기본값보다 4~5% 짧아진다
함께 읽기 좋은 글
- faster-whisper는 타임스탬프를 끄면 한국어 통화 전사가 순차 기본값보다 4~5% 짧아진다
- Whisper large-v3로 한국어 대화를 전사하면 beam search는 greedy보다 정확도 이득이 거의 없다
- faster-whisper large-v3 한국어 대화 전사는 greedy + VAD + 이어받기 끔이 가장 빨랐고 정확도도 비슷했다
- faster-whisper 결과가 실행마다 달라지는 건 temperature fallback 샘플링이 이전 텍스트 이어받기로 번지는 탓으로 보인다
- Whisper에 numpy 배열을 넘기면 리샘플 없이 16kHz로 간주한다