Zettelkasten

음성 AI 학습 입력은 인식·분석은 16kHz 모노, 합성은 24kHz 모노, full-duplex 대화는 화자별 2채널로 모인다

·수정 2026.10.07·수정 1회

요약

  • 음성 AI 학습 데이터는 비트레이트가 아니라 샘플레이트와 채널 수로 맞춘다. 인식·분석은 16kHz 모노, 합성은 24kHz 모노로 모인다.
  • full-duplex 대화 모델(Moshi·J-Moshi·DuplexChat)은 화자마다 스트림을 하나씩 두는 2채널로 받는다. 샘플레이트는 24kHz(Mimi 코덱)와 16kHz(DuplexChat)로 갈린다.
  • 원본 파일은 대부분 MP3·AAC·Opus 같은 손실 압축이다. 학습 직전에 PCM으로 풀고 리샘플하므로 저장 포맷은 학습 표준이 아니다.
  • 비트 깊이와 원본 코덱은 논문 대부분이 밝히지 않는다. 밝힌 곳은 배포·학습 기준으로 16bit다(Emilia, VCTK 배포본).

본문

용도별 입력 스펙

용도 모델 입력 대표 사례
인식(ASR) 16kHz 모노, log-Mel 80 또는 128 bin, 10ms hop Whisper(30초 청크, v3부터 128 bin), FireRedASR, Parakeet·Canary
분석·이해 16kHz 모노 wav2vec 2.0·HuBERT·WavLM(Libri-Light 16kHz), Qwen2-Audio, Qwen3-Omni, pyannote
합성(TTS) 24kHz 모노 16bit, 3~30초 클립 Emilia(24kHz), F5-TTS, CosyVoice 2/3, MaskGCT, Qwen3-TTS(12Hz 토크나이저 24kHz)
full-duplex 대화 화자별 2스트림, 24kHz(Mimi 코덱) 또는 16kHz Moshi·J-Moshi(24kHz), DuplexChat(16kHz, 화자별 좌우 스테레오)
  • 16kHz(나이퀴스트 8kHz)면 음성 인식에 필요한 정보는 거의 다 담긴다. 합성은 음질을 만들어내야 해서 한 단계 올린다.
  • Moshi도 사전학습 음성은 24kHz로 리샘플하고 모노로 합친다. 대화를 배우는 후속 학습에서만 화자 파형과 나머지 파형을 2스트림으로 넣는다.
  • 2026년 TTS는 16kHz로 인코딩하고 48kHz로 복원하는 방향도 나온다(VoxCPM2).

인코더 출력 프레임레이트는 계속 낮아진다

  • 자기지도 표현 모델: 약 50Hz(20ms)
  • Qwen2-Audio: 25Hz
  • Kimi-Audio, Qwen3-Omni, Mimi, GLM-4-Voice: 12.5Hz

LLM에 붙이는 모델일수록 시퀀스 길이를 줄이려고 더 강하게 압축한다.

원본은 대부분 손실 압축이다

데이터셋 원본 → 배포
LibriSpeech·Libri-Light·LibriTTS·LJSpeech LibriVox MP3 → FLAC/WAV
Common Voice 48kHz MP3(브라우저 녹음)
GigaSpeech Opus로 배포(오디오북·팟캐스트·유튜브)
VoxCeleb2 유튜브 → m4a(AAC)
Emilia 영상·팟캐스트 → MP3

FLAC/WAV로 배포돼도 손실 원본을 변환한 것이다. 스튜디오에서 무손실로 녹음한 대표는 VCTK(96kHz/24bit로 녹음한 뒤 48kHz/16bit로 배포)다.

용도별 저장 판단

  • 인식·분석용: 손실 압축 잡음의 영향이 작다. Opus로 보관해도 업계 관행과 같다. GigaSpeech는 Opus로 배포하고, Multilingual LibriSpeech(OpenSLR 94)는 8개 언어 모두 FLAC판과 함께 Opus판을 배포한다.
  • 합성·생성용: 모델이 압축 잡음까지 배울 수 있다. 무손실 원본이 좋고, 손실 원본이면 Emilia처럼 음량 정규화·목소리 분리·DNSMOS 필터를 거친다.

미검증

  • Qwen3-TTS의 24kHz는 공식 12Hz 토크나이저 설정(input_sample_rate: 24000)에서만 확인했다. 기술 보고서에는 샘플레이트가 없고, 25Hz 토크나이저 쪽은 확인하지 않았다.

관련 노트

참고