화자별 2채널 실제 대화 데이터는 공개 영어 코퍼스 중 Fisher 약 2,000시간이 최대다
·수정 2026.10.07·수정 2회
요약
- 음성 대화 모델의 사전학습 음성은 수백만 시간대로 늘었지만, 화자별 채널이 분리된 실제 2인 대화는 8kHz 전화 코퍼스인 Fisher(약 2,000h)가 공개된 영어 코퍼스 중 최대다.
- 부족분은 LLM 대본을 TTS로 읽힌 합성 대화, 또는 모노 웹 오디오를 화자 분리해 만든 가짜 두 채널로 메운다.
- 그래서 화자별로 분리 녹음된 실제 대화는 음성 대화 모델 학습 재료 중 가장 부족하다(학습 데이터의 0.03~0.9%).
본문
사전학습 규모와 실제 대화 규모
| 모델 | 사전학습 음성 | 대화 데이터 |
|---|---|---|
| dGSLM (2022) | 없음 | 실제 Fisher 2,000h |
| Moshi (2024-09) | 700만h(대부분 영어 음성인 오디오) | 실제 Fisher 2,000h + 합성 2만h 이상(자체 170h는 Moshi에 직접 쓰지 않고 합성용 TTS 학습에 씀) |
| SyncLLM (2024-09) | 없음 | 합성 약 21.2만h + 실제 Fisher 약 1,927h |
| GLM-4-Voice (2024-12) | 70만h | 합성(규모 비공개) |
| Kimi-Audio (2025-04) | 약 1,300만h(음악·환경음을 포함한 전체 오디오, 음성 비중 비공개) | 합성(규모 비공개) |
| J-Moshi (2025-06, 일본어) | J-CHAT train 세트 약 6만h(J-CHAT 전체는 약 6.9만h) | 실제 두 채널 344h + 합성 602h |
실제 대화는 각 모델이 쓴 학습 데이터 전체(사전학습 + 합성 + 실제)의 0.03%(Moshi)~0.9%(SyncLLM)다. dGSLM은 Fisher만 써서 예외다. 중국 쪽 대형 모델은 대화 데이터 양 자체를 공개하지 않는 경우가 많다.
처음부터 화자별 채널로 녹음된 대화는 전화 코퍼스 말고도 화상 통화 녹음이 있다
| 코퍼스 | 스펙 | 규모 |
|---|---|---|
| Fisher English | 8kHz, μ-law, 2채널(화자별), NIST SPHERE | Part 1 984h, Part 2 포함 약 2,000h |
| Switchboard-1 R2 | 8kHz, μ-law, 2채널(화자별), SPHERE | 약 260h, 대화 약 2,400건 |
| CANDOR (영어 화상 대화) | 좌우 채널을 화자에 하나씩 매핑한 스테레오, 연구자 등록 후 제공 | 850h 이상, 대화 1,656건 |
모델 쪽에서 따로 모은 분리 녹음도 있다. Moshi는 화자별 채널로 녹음한 자체 대화 170h(녹음 방식은 원문에 없다)를, J-Moshi는 Zoom 녹음 316h(여행사 대화 코퍼스 115h, 자체 구축한 잡담 148h·상담 53h)를 썼다.
Moshi는 8kHz인 Fisher를 AudioSR로 24kHz까지 업샘플해 썼다.
웹 오디오로 두 채널을 만드는 방법
- Moshi: 모노 사전학습 음성을 PyAnnote로 화자 분리한 뒤, 한 명을 골라 파형에 마스크를 씌워 2스트림을 만든다.
- J-Moshi: J-CHAT(모노)에 화자 분리를 적용해 한 명은 모델 채널, 나머지는 사용자 채널에 배치한다.
- DuplexChat (2026-07): 팟캐스트를 화자별로 분리·복원해 스테레오 41.5만h(영어 28.3만 + 일본어 13.3만)를 만든다. 전화 녹음을 모으는 방식은 규모를 키우기 어렵다는 문제의식에서 출발했다.
통화 서비스 녹음을 대화 학습 데이터로 쓸 때
- 화자별로 따로 녹음되고 16kHz 이상인 통화 녹음은 2,000시간만 모여도 공개 영어 코퍼스 중 최대인 Fisher와 규모가 같다. 대역폭도 8kHz 전화 녹음보다 넓다.
- 실제 고음 성분은 녹음 코덱의 비트레이트에 따라 달라진다. 1:1 통화 녹음 51명을 실측했을 때, 같은 성별 안에서 AAC 56k와 128k는 12kHz 위 에너지가 최대 9dB 차이 났다.
- 다만 음성 데이터를 학습에 쓰려면 동의·보관 정책이 먼저 정리되어야 한다(기술 외 조건).
미검증
- Switchboard 약 260h는 LDC 카탈로그 기준이고 원 논문과는 대조하지 않았다.
- Kimi-Audio 학습 음성이 모노인지는 확인하지 못했다.
관련 노트
- 음성 AI 학습 입력은 인식·분석은 16kHz 모노, 합성은 24kHz 모노, full-duplex 대화는 화자별 2채널로 모인다
- 정제된 사람 전사 ASR 코퍼스는 20만 시간대이고 약라벨·의사라벨로 수천만 시간까지 늘린다
- WhisperX는 VAD로 청크 의존성을 제거해 배치 추론을 가능하게 한다
- 통화 녹음의 고음 에너지 성별 차이는 낮은 AAC 비트레이트의 남성 녹음에서만 나타난다
참고
- dGSLM: https://arxiv.org/abs/2203.16502
- Moshi: https://arxiv.org/abs/2410.00037
- SyncLLM: https://arxiv.org/abs/2409.15594
- GLM-4-Voice: https://arxiv.org/abs/2412.02612
- Kimi-Audio: https://arxiv.org/abs/2504.18425
- J-Moshi: https://arxiv.org/abs/2506.02979
- J-CHAT: https://arxiv.org/abs/2407.15828
- DuplexChat: https://arxiv.org/abs/2607.04941
- Fisher English Part 1 (LDC2004S13): https://catalog.ldc.upenn.edu/LDC2004S13
- Switchboard-1 R2 (LDC97S62): https://catalog.ldc.upenn.edu/LDC97S62
- CANDOR (Reece et al., 2023): https://www.science.org/doi/10.1126/sciadv.adf3197
- CANDOR 디렉터리 구조(Candor-LR): https://arxiv.org/abs/2609.10394