Zettelkasten

날짜 프리픽스로 나뉜 두 저장소를 대조할 때는 경계일까지 확인해야 한다

·수정 2026.10.07·수정 3회

요약

  • 두 시스템이 같은 데이터를 중복 기록 중인지 확인하려고 날짜 프리픽스별 키 교집합을 재면, 두 시스템의 날짜 기준(여기서는 KST 대 UTC)이 달라 교집합이 실제보다 낮게 나온다.
  • A 기준 교집합 63%를 보고 "트래픽을 절반씩 나눠 쓴다"로 결론 낼 뻔했다. 그런데 한쪽에만 있던 키 30개를 반대쪽 전날·다음날 폴더에서 다시 찾으니 29개가 있었다(양방향 모두). 분할이 아니라 거의 전부 중복 기록이었다(표본 30개라 실제 비율은 대략 83~99%).
  • 교집합이 100%도 0%도 아닌 어중간한 값이면 결론 전에 경계 효과부터 의심한다.

본문

상황

객체 스토리지 두 곳이 모두 YYYYMMDD/ 프리픽스로 나뉘어 있었다. 같은 작업을 두 번 저장하고 있는지 확인하려고 같은 날짜의 식별자 집합을 비교했다.

A에만: 7,553    교집합: 12,870    B에만: 7,850

A에 있는 키 중 63%만 B에도 있다(12,870 / 20,423). B 기준으로는 62%(12,870 / 20,720), 합집합 기준으로는 46%(12,870 / 28,273)다. 이 숫자 하나로는 두 해석이 다 가능하다.

  • 트래픽을 나눠 처리하는 중이다 (그렇다면 교집합이 0에 가까워야 하는데 63%는 너무 높다)
  • 중복 기록인데 경계에서 어긋난다 (그렇다면 교집합이 100%에 가까워야 하는데 63%는 너무 낮다)

둘 다 어긋나서 판단이 안 된다.

왜 어긋나나

두 시스템이 날짜를 자르는 시간대가 달랐다. 한쪽은 작업이 시작된 시각의 KST(UTC+9) 날짜로, 다른 쪽은 파일을 올린 시각의 UTC 날짜로 폴더를 정한다. 업로드는 작업이 끝난 직후라 시작 시각과 업로드 시각의 차이는 작업 한 건 길이(대개 몇 분) 정도다. 어긋남의 대부분은 9시간 시간대 차이에서 나왔다.

경계 효과를 "자정 몇 분"으로만 생각하면 수 % 수준이라 무시하게 된다. 그런데 날짜를 자르는 시각이 9시간 어긋나면, 같은 날짜 폴더끼리 하루 24시간 중 15시간만 겹친다. 트래픽이 하루 내내 고르다고 보면 교집합은 15/24 = 62.5%다. 관측한 63.0%(A 기준)·62.1%(B 기준)가 이 값과 거의 같았다.

진단

전체를 다시 나열할 필요가 없다. 이탈 표본만 인접 파티션에서 재조회하면 된다.

  1. 한쪽에만 있는 키를 30개 뽑는다
  2. 반대쪽 저장소의 전날·당일·다음날 세 프리픽스에서 그 키를 조회한다
  3. 양방향 모두 수행한다

결과는 양방향 모두 29/30이 인접일에 존재했다. 분할이 아니라 중복이라는 결론이 나온다. 표본 30개라 실제 비율은 대략 8399% 범위다(29/30의 Wilson 95% 구간). 못 찾은 1개가 전날·다음날 밖으로 밀린 건인지 한쪽에만 기록된 건인지는 확인하지 않았다. 조회 횟수는 표본 30개 × 프리픽스 3개 × 양방향 = 180번으로 끝난다. 전체 나열(수십만수백만 객체)과 비교할 수 없이 싸다.

식별자가 키 경로의 한 단계(YYYYMMDD/<식별자>/...)로 들어 있다면 전수 확인도 싸게 할 수 있다. ListObjectsV2에 Delimiter='/'를 주면 그 아래 객체 대신 공통 접두사(CommonPrefixes)만 돌려받고, 공통 접두사 하나는 한 항목으로 센다. 하루 식별자가 약 2만 개면 날짜 하나에 요청 약 20번(요청당 최대 1,000개)이라, 양쪽의 전날·다음날 프리픽스 네 개를 다 나열해도 약 80번이다.

일반화

  • 날짜 파티션은 "같은 시각"이 아니라 **"같은 기준의 시각"**일 때만 직접 비교할 수 있다. 비교 전에 양쪽이 무엇을 기준으로 폴더를 나누는지, 어느 시간대(UTC/KST)로 날짜를 자르는지 확인한다
  • 교집합 비율이 애매하면 그 자체를 결론의 근거로 쓰지 않는다. 이탈 표본을 인접 파티션에서 재조회해 경계 효과인지 실제 차이인지 가른다
  • 표본 재조회는 객체를 전부 나열하는 전수 비교보다 훨씬 싸고, 이 판별에는 충분하다

관련 노트

참고