Zettelkasten

화자별 2채널 실제 대화 데이터는 공개 영어 코퍼스 중 Fisher 약 2,000시간이 최대다

·수정 2026.10.07·수정 2회

요약

  • 음성 대화 모델의 사전학습 음성은 수백만 시간대로 늘었지만, 화자별 채널이 분리된 실제 2인 대화는 8kHz 전화 코퍼스인 Fisher(약 2,000h)가 공개된 영어 코퍼스 중 최대다.
  • 부족분은 LLM 대본을 TTS로 읽힌 합성 대화, 또는 모노 웹 오디오를 화자 분리해 만든 가짜 두 채널로 메운다.
  • 그래서 화자별로 분리 녹음된 실제 대화는 음성 대화 모델 학습 재료 중 가장 부족하다(학습 데이터의 0.03~0.9%).

본문

사전학습 규모와 실제 대화 규모

모델 사전학습 음성 대화 데이터
dGSLM (2022) 없음 실제 Fisher 2,000h
Moshi (2024-09) 700만h(대부분 영어 음성인 오디오) 실제 Fisher 2,000h + 합성 2만h 이상(자체 170h는 Moshi에 직접 쓰지 않고 합성용 TTS 학습에 씀)
SyncLLM (2024-09) 없음 합성 약 21.2만h + 실제 Fisher 약 1,927h
GLM-4-Voice (2024-12) 70만h 합성(규모 비공개)
Kimi-Audio (2025-04) 약 1,300만h(음악·환경음을 포함한 전체 오디오, 음성 비중 비공개) 합성(규모 비공개)
J-Moshi (2025-06, 일본어) J-CHAT train 세트 약 6만h(J-CHAT 전체는 약 6.9만h) 실제 두 채널 344h + 합성 602h

실제 대화는 각 모델이 쓴 학습 데이터 전체(사전학습 + 합성 + 실제)의 0.03%(Moshi)~0.9%(SyncLLM)다. dGSLM은 Fisher만 써서 예외다. 중국 쪽 대형 모델은 대화 데이터 양 자체를 공개하지 않는 경우가 많다.

처음부터 화자별 채널로 녹음된 대화는 전화 코퍼스 말고도 화상 통화 녹음이 있다

코퍼스 스펙 규모
Fisher English 8kHz, μ-law, 2채널(화자별), NIST SPHERE Part 1 984h, Part 2 포함 약 2,000h
Switchboard-1 R2 8kHz, μ-law, 2채널(화자별), SPHERE 약 260h, 대화 약 2,400건
CANDOR (영어 화상 대화) 좌우 채널을 화자에 하나씩 매핑한 스테레오, 연구자 등록 후 제공 850h 이상, 대화 1,656건

모델 쪽에서 따로 모은 분리 녹음도 있다. Moshi는 화자별 채널로 녹음한 자체 대화 170h(녹음 방식은 원문에 없다)를, J-Moshi는 Zoom 녹음 316h(여행사 대화 코퍼스 115h, 자체 구축한 잡담 148h·상담 53h)를 썼다.

Moshi는 8kHz인 Fisher를 AudioSR로 24kHz까지 업샘플해 썼다.

웹 오디오로 두 채널을 만드는 방법

  • Moshi: 모노 사전학습 음성을 PyAnnote로 화자 분리한 뒤, 한 명을 골라 파형에 마스크를 씌워 2스트림을 만든다.
  • J-Moshi: J-CHAT(모노)에 화자 분리를 적용해 한 명은 모델 채널, 나머지는 사용자 채널에 배치한다.
  • DuplexChat (2026-07): 팟캐스트를 화자별로 분리·복원해 스테레오 41.5만h(영어 28.3만 + 일본어 13.3만)를 만든다. 전화 녹음을 모으는 방식은 규모를 키우기 어렵다는 문제의식에서 출발했다.

통화 서비스 녹음을 대화 학습 데이터로 쓸 때

  • 화자별로 따로 녹음되고 16kHz 이상인 통화 녹음은 2,000시간만 모여도 공개 영어 코퍼스 중 최대인 Fisher와 규모가 같다. 대역폭도 8kHz 전화 녹음보다 넓다.
  • 실제 고음 성분은 녹음 코덱의 비트레이트에 따라 달라진다. 1:1 통화 녹음 51명을 실측했을 때, 같은 성별 안에서 AAC 56k와 128k는 12kHz 위 에너지가 최대 9dB 차이 났다.
  • 다만 음성 데이터를 학습에 쓰려면 동의·보관 정책이 먼저 정리되어야 한다(기술 외 조건).

미검증

  • Switchboard 약 260h는 LDC 카탈로그 기준이고 원 논문과는 대조하지 않았다.
  • Kimi-Audio 학습 음성이 모노인지는 확인하지 못했다.

관련 노트

참고