요약
- HLS 라이브는 새 세그먼트가 생길 때마다 미디어 플레이리스트의 새 버전을 내놓아야 한다(RFC 8216 §6.2.1). 그래서 세그먼트 PUT 1회마다 플레이리스트 PUT 1회가 따라붙는다. 프로토콜에서 나오는 횟수라, 스토리지가 덧붙이기를 지원해도 요청 수는 줄지 않는다.
- 세그먼트 1개당 쓰기 2회가 렌디션마다 따로 발생한다. 15초 세그먼트라면 5분짜리 녹음 1건에 쓰기 약 42회다.
- S3 요청 단가는 PUT이 GET의 13배다. 5분 녹음 1건의 쓰기 요청비는 같은 녹음을 Standard에 1.4~2.8개월 저장하는 값과 같아서, 그보다 짧게 보관하는 버킷에서는 요청비가 저장비보다 커진다.
본문
왜 세그먼트당 2회가 되나
RFC 8216 §6.2.1은 EXT-X-ENDLIST가 없는 한 서버가 "새 세그먼트를 최소 하나 포함한 플레이리스트의 새 버전"을 타깃 지속시간의 0.5~1.5배 간격으로 계속 제공하도록 요구한다. 세그먼트 길이와 타깃 지속시간이 비슷한 보통 구성에서는 이게 사실상 세그먼트 1개당 플레이리스트 갱신 1회가 된다.
세그먼트 1개마다 새 세그먼트 파일 1개와 새 플레이리스트 버전 1개를 내놓아야 하므로, 요청 수로 보면 세그먼트당 쓰기 2회는 프로토콜에서 바로 나온다. 스토리지가 바꾸는 건 요청 수가 아니라 한 번에 다시 쓰는 바이트 양이다.
- RFC가 허용하는 변경은 "append lines"와 앞쪽 세그먼트 제거,
EXT-X-MEDIA-SEQUENCE증가다. 로컬 파일시스템은 플레이리스트에 줄을 덧붙이면 되지만, 그것도 갱신 1회다 - 일반 S3 버킷과 GCS는 덧붙이기가 없어 매번 플레이리스트 객체 전체를 PUT한다. 녹음이 길수록 한 번에 다시 쓰는 바이트가 늘어난다
- S3 Express One Zone(디렉터리 버킷)은 덧붙이기를 지원하지만, 덧붙이기 1회도 PutObject 1건으로 과금돼 요청비는 줄지 않는다
- 슬라이딩 윈도로 오래된 세그먼트를 빼면
EXT-X-MEDIA-SEQUENCE값이 바뀌어 파일 앞부분이 달라진다. 개념적으로도 append만으로는 불가능하다
여기에 렌디션 수가 곱해진다. 미디어 플레이리스트는 화질마다 하나이므로 3종이면 세그먼트 1세트당 쓰기 6회다(멀티배리언트 플레이리스트는 처음 한 번만 쓴다).
요청 단가 (S3 ap-northeast-2, Pricing API 조회값)
| 구분 | 단가 |
|---|---|
| PUT / COPY / POST / LIST (Tier1) | $4.50 / 100만 건 |
| GET 등 (Tier2) | $0.35 / 100만 건 |
PUT이 GET보다 13배 비싸다. 읽기 위주 워크로드에서는 요청비가 눈에 안 띄지만, 쓰기가 많은 이 구조에서는 저장비와 같은 자릿수까지 올라간다.
5분 녹음 1건(단일 렌디션)으로 저장비와 비교하면 이렇다. 비트레이트는 관련 노트의 통화 녹음 실측값(AAC 56128kbps에 MPEG-TS가 2227kbps를 더 얹음)을 썼고, 저장 단가는 서울 Standard 첫 50TB 구간 $0.025/GB-월이다(1 GB = 2^30바이트).
요청비: 쓰기 42회 × $4.50 / 100만 = $0.000189
저장량: 78~155 kbps × 300초 ÷ 8 = 2.8~5.5 MiB
저장비: 0.0027~0.0054 GB × $0.025 = 월 $0.000068~0.000135
요청비 ÷ 월 저장비 = 1.4~2.8
요청비가 저장 1.4~2.8개월치와 같다. 그래서 30일·7일 만료처럼 짧게 보관하는 버킷에서는 요청비가 저장비보다 크고, 몇 년씩 쌓아 두는 아카이브에서는 저장비가 다시 앞선다. 아래 실측 버킷은 30일 뒤 만료되는 설정이었고, 한 달 비용도 PUT 요청비가 Standard 저장비의 약 1.7배였다.
실측
음성 전용 HLS(15초 세그먼트, 단일 렌디션)를 쓰는 버킷의 하루치 서버 액세스 로그 파일을 목록 순서대로 93개마다 1개씩 골라(전체 바이트의 약 0.95%) 연산별 줄 수를 세어 보니, PUT 중 .ts가 50.0%, .m3u8이 50.0%였다. 정확히 1:1이다. 플레이리스트 갱신이 전체 쓰기의 절반을 먹고 있다는 뜻이다.
같은 통화를 녹음하되 녹음이 끝난 뒤 세그먼트와 플레이리스트를 한 번씩만 올리는 다른 파이프라인(같은 15초 세그먼트)은 화자 트랙 1개당 쓰기가 평균 약 21회였다(세그먼트 평균 20.8개 + 플레이리스트 1개). 플레이리스트를 다시 쓰지 않으니 라이브 방식의 절반이다. 세그먼트로 나누지 않고 단일 파일로 올리면 1회다.
줄이는 방법
- 세그먼트 길이를 늘린다. 15초 → 60초면 쓰기가 1/4이 된다. 실시간 재생 지연과 맞바꾸는 선택이다
- 실시간 재생이 필요 없으면 HLS를 쓰지 않는다. 녹음이 끝난 뒤 단일 파일로 올리면 쓰기가 건당 1회다
- 저지연 HLS(
EXT-X-PART)는 반대 방향이다. 서버는 부분 세그먼트를 부분 세그먼트 목표 길이 안에 하나씩 플레이리스트에 추가해야 해서, 부분 세그먼트를 1초로 잡으면 15초 세그먼트 하나에 플레이리스트 쓰기가 1회에서 15회로 는다
비용을 추정하는 법
객체 스토리지의 요청 수는 버킷 크기만 봐서는 안 나온다. 서버 액세스 로깅을 켜 두고, 하루치 로그 파일을 일정 간격으로 골라 연산별 줄 수를 센 뒤 고른 바이트 ÷ 전체 바이트로 나눠 하루 건수로 환산하면 연산별 건수를 충분한 정확도로 추정할 수 있다. 객체 수와 대조해 교차 검증하면 재시도·멀티파트 분까지 드러난다.
관련 노트
- S3에 date prefix를 붙이면 스토리지 클래스 전환 및 삭제를 자동화 할 수 있다.
- enhanced Container Insights는 TaskId로 series를 폭증시키지만 CloudWatch proration이 비용을 수렴시킨다
- 오디오 파일은 컨테이너, 스트림, 패킷으로 구성된다.
- 통화 녹음의 고음 에너지 성별 차이는 낮은 AAC 비트레이트의 남성 녹음에서만 나타난다
- 날짜 프리픽스로 나뉜 두 저장소를 대조할 때는 경계일까지 확인해야 한다
참고
- RFC 8216 §6.2.1 General Server Responsibilities, §6.2.2 Live Playlists: https://www.rfc-editor.org/rfc/rfc8216.txt
- HLS 2판 초안 draft-pantos-hls-rfc8216bis-22 §6.2.1 (부분 세그먼트를 Part Target Duration 안에 추가): https://www.ietf.org/archive/id/draft-pantos-hls-rfc8216bis-22.txt
- Amazon S3 요금 (Pricing API
AmazonS3로 조회. 요청은APN2-Requests-Tier1/Tier2, 저장은APN2-TimedStorage-ByteHrs): https://aws.amazon.com/s3/pricing/ - Amazon S3 FAQ 과금 예시 (1 GB = 1,073,741,824바이트로 GB-월 환산): https://aws.amazon.com/s3/faqs/
- S3 Express One Zone 덧붙이기 (디렉터리 버킷 전용, 덧붙이기 1회 = PutObject 1건 과금): https://docs.aws.amazon.com/AmazonS3/latest/userguide/directory-buckets-objects-append.html