Zettelkasten

librosa.pyin은 메모리가 오디오 길이에 비례해 긴 녹음은 조각으로 나눠 호출한다

·수정 1회

요약

  • librosa.pyin은 입력 전체를 한 번에 프레임으로 잘라 (프레임 길이 × 프레임 수) 크기의 배열을 여러 개 만든다. 그래서 최고 메모리가 오디오 길이에 비례하고, 22.05kHz·20ms 간격에서는 10분에 약 3GB, 47분이면 16GB 컨테이너가 죽었다.
  • 사분위수나 평균처럼 프레임 순서가 필요 없는 통계만 쓰면 60초 조각으로 나눠 호출하고 이어 붙여도 결과가 같다. 100분 녹음에서 최고 메모리가 2.3GB(오디오 로드 때 최고치)로 고정됐다.

본문

어디서 메모리가 커지는가

librosa 0.10.1의 pyin(core/pitch.py)은 신호를 util.frame으로 (frame_length, n_frames) 모양으로 자른 뒤, YIN 차이 함수 _cumulative_mean_normalized_difference에서 이 모양 그대로 배열을 여러 개 만든다.

  • np.fft.rfft(y_frames)와 뒤집은 프레임의 rfft: complex128 (1025, n_frames) 두 개
  • np.fft.irfft(a * b): float64 (2048, n_frames)
  • np.cumsum(y_frames**2)로 만든 energy_frames: float64 (2048, n_frames)
  • 여기서 나온 yin_frames의 누적 평균과 나눗셈 결과: (max_period, n_frames) 크기 몇 개

프레임 하나에 약 100~160KB가 붙는다. 그 뒤 임계값 처리는 프레임마다 돌아가는 Python 반복문이라 작고, 마지막 sequence.viterbi는 (2 × 피치 구간 수, n_frames) 크기의 관측 확률 행렬만 쓴다. 메모리를 결정하는 것은 FFT·누적합 단계다.

측정값 (맥 16GB, Python 3.8, librosa 0.10.1, 22.05kHz, hop_length=441, fmin=75, fmax=600, 소음 입력)

길이 프레임 수 최고 RSS
2분 6,001 1.0GB
5분 15,001 2.0GB
10분 30,001 3.0GB
100분 301,000 16GB에서 SIGKILL

10분 값은 macOS 메모리 압축 때문에 실제보다 작게 잡힐 수 있다. 운영에서는 같은 설정의 16GB 컨테이너가 45분 통화는 통과하고 47분부터 전부 OutOfMemoryError로 죽었다. 47분은 약 14만 프레임이라 프레임당 약 115KB로 계산이 맞는다.

함정: 측정 순서

처음에 "오디오 로드 뒤 pyin"을 한 프로세스에서 재고 ru_maxrss 증가분만 봤더니 10분 pyin이 0.2GB로 나왔다. 로드 단계의 일시적 최고치(1.5GB)가 더 높아서 pyin의 증가가 가려진 것이다. 최고 RSS는 고점 기록이라 단계별 증가분을 보려면 단계마다 새 프로세스에서 재야 한다.

해결: 조각으로 나눠 호출

def pyin_in_chunks(y, sr, hop_length, chunk_seconds=60):
    chunk = chunk_seconds * sr
    parts = [
        librosa.pyin(y[s : s + chunk], fmin=75, fmax=600, sr=sr, hop_length=hop_length)[0]
        for s in range(0, len(y), chunk)
    ]
    return np.concatenate(parts)
  • 60초 조각이면 pyin 쪽 최고 메모리가 수백 MB에 머문다. 100분 실제 녹음에서 전체 최고 RSS는 2.3GB였고, 이 값은 pyin이 아니라 librosa.load(48kHz → 22.05kHz 리샘플)의 최고치다.
  • 결과 비교(실제 음성 10분): 사분위수 Q1/중앙/Q3가 120.4 / 138.3 / 162.6Hz로 한 번에 계산한 값과 같았다. 유효 프레임 수만 6,938 → 6,904로 0.5% 줄었다.
  • 줄어드는 이유: 조각 경계마다 마지막 프레임 몇 개가 잘리고, pyin 안의 Viterbi 평활화가 경계에서 끊긴다. 프레임 순서를 그대로 쓰는 용도(피치 곡선, 음표 추출)라면 조각 사이를 겹쳐 잇는 처리가 더 필요하다. 사분위수·평균·히스토그램에는 영향이 없다.
  • 시간은 거의 같다. 10분 입력에서 한 번에 50초, 조각 47초였다.

일반화

전체 입력을 프레임 행렬로 펼치는 함수(librosa.stft, pyin, yin, 멜 스펙트로그램 등)는 길이에 비례해 메모리를 쓴다. 입력 길이가 정해져 있지 않은 배치 작업에서는 "최대 길이 × 프레임당 비용"이 컨테이너 한도 안에 드는지 보고, 안 들면 통계만 필요한 단계부터 조각 처리로 바꾼다.

관련 노트

참고