librosa.pyin은 메모리가 오디오 길이에 비례해 긴 녹음은 조각으로 나눠 호출한다
요약
librosa.pyin은 입력 전체를 한 번에 프레임으로 잘라 (프레임 길이 × 프레임 수) 크기의 배열을 여러 개 만든다. 그래서 최고 메모리가 오디오 길이에 비례하고, 22.05kHz·20ms 간격에서는 10분에 약 3GB, 47분이면 16GB 컨테이너가 죽었다.- 사분위수나 평균처럼 프레임 순서가 필요 없는 통계만 쓰면 60초 조각으로 나눠 호출하고 이어 붙여도 결과가 같다. 100분 녹음에서 최고 메모리가 2.3GB(오디오 로드 때 최고치)로 고정됐다.
본문
어디서 메모리가 커지는가
librosa 0.10.1의 pyin(core/pitch.py)은 신호를 util.frame으로 (frame_length, n_frames) 모양으로 자른 뒤, YIN 차이 함수 _cumulative_mean_normalized_difference에서 이 모양 그대로 배열을 여러 개 만든다.
np.fft.rfft(y_frames)와 뒤집은 프레임의 rfft: complex128 (1025, n_frames) 두 개np.fft.irfft(a * b): float64 (2048, n_frames)np.cumsum(y_frames**2)로 만든 energy_frames: float64 (2048, n_frames)- 여기서 나온 yin_frames의 누적 평균과 나눗셈 결과: (max_period, n_frames) 크기 몇 개
프레임 하나에 약 100~160KB가 붙는다. 그 뒤 임계값 처리는 프레임마다 돌아가는 Python 반복문이라 작고, 마지막 sequence.viterbi는 (2 × 피치 구간 수, n_frames) 크기의 관측 확률 행렬만 쓴다. 메모리를 결정하는 것은 FFT·누적합 단계다.
측정값 (맥 16GB, Python 3.8, librosa 0.10.1, 22.05kHz, hop_length=441, fmin=75, fmax=600, 소음 입력)
| 길이 | 프레임 수 | 최고 RSS |
|---|---|---|
| 2분 | 6,001 | 1.0GB |
| 5분 | 15,001 | 2.0GB |
| 10분 | 30,001 | 3.0GB |
| 100분 | 301,000 | 16GB에서 SIGKILL |
10분 값은 macOS 메모리 압축 때문에 실제보다 작게 잡힐 수 있다. 운영에서는 같은 설정의 16GB 컨테이너가 45분 통화는 통과하고 47분부터 전부 OutOfMemoryError로 죽었다. 47분은 약 14만 프레임이라 프레임당 약 115KB로 계산이 맞는다.
함정: 측정 순서
처음에 "오디오 로드 뒤 pyin"을 한 프로세스에서 재고 ru_maxrss 증가분만 봤더니 10분 pyin이 0.2GB로 나왔다. 로드 단계의 일시적 최고치(1.5GB)가 더 높아서 pyin의 증가가 가려진 것이다. 최고 RSS는 고점 기록이라 단계별 증가분을 보려면 단계마다 새 프로세스에서 재야 한다.
해결: 조각으로 나눠 호출
def pyin_in_chunks(y, sr, hop_length, chunk_seconds=60):
chunk = chunk_seconds * sr
parts = [
librosa.pyin(y[s : s + chunk], fmin=75, fmax=600, sr=sr, hop_length=hop_length)[0]
for s in range(0, len(y), chunk)
]
return np.concatenate(parts)
- 60초 조각이면 pyin 쪽 최고 메모리가 수백 MB에 머문다. 100분 실제 녹음에서 전체 최고 RSS는 2.3GB였고, 이 값은 pyin이 아니라
librosa.load(48kHz → 22.05kHz 리샘플)의 최고치다. - 결과 비교(실제 음성 10분): 사분위수 Q1/중앙/Q3가 120.4 / 138.3 / 162.6Hz로 한 번에 계산한 값과 같았다. 유효 프레임 수만 6,938 → 6,904로 0.5% 줄었다.
- 줄어드는 이유: 조각 경계마다 마지막 프레임 몇 개가 잘리고, pyin 안의 Viterbi 평활화가 경계에서 끊긴다. 프레임 순서를 그대로 쓰는 용도(피치 곡선, 음표 추출)라면 조각 사이를 겹쳐 잇는 처리가 더 필요하다. 사분위수·평균·히스토그램에는 영향이 없다.
- 시간은 거의 같다. 10분 입력에서 한 번에 50초, 조각 47초였다.
일반화
전체 입력을 프레임 행렬로 펼치는 함수(librosa.stft, pyin, yin, 멜 스펙트로그램 등)는 길이에 비례해 메모리를 쓴다. 입력 길이가 정해져 있지 않은 배치 작업에서는 "최대 길이 × 프레임당 비용"이 컨테이너 한도 안에 드는지 보고, 안 들면 통계만 필요한 단계부터 조각 처리로 바꾼다.
관련 노트
- SSCursor는 결과를 서버에 두고 행 단위로 흘려보내 클라이언트 메모리 대신 커넥션 점유를 택한다
- WhisperX는 VAD로 청크 의존성을 제거해 배치 추론을 가능하게 한다
- ctranslate2 num_workers는 가중치를 공유하고 worker별 메모리는 호출 중에만 늘어난다
- Cepstral Analysis은 배음 구조를 찾게 해준다.
참고
- https://librosa.org/doc/0.10.1/generated/librosa.pyin.html
- https://github.com/librosa/librosa/blob/0.10.1/librosa/core/pitch.py
- Mauch, M. & Dixon, S. (2014). pYIN: A fundamental frequency estimator using probabilistic threshold distributions. ICASSP.