웹훅 이벤트를 저장할때 고려해야하는 것

요약

• 웹훅 이벤트를 저장할때는 여러가지를 고려해야함
  1. 원본 데이터 보존
  2. bulk로 어딘가 저장해야될텐데, 저장시 중복

본문

• 웹훅은 외부 시스템에서 어떤 이벤트가 발생했을 때, 사전에 등록한 URL로 HTTP로 요청을 보내는 방식
• 종종 개발을 하다보면 외부시스템을 연동하는 경우가 꽤 많음
• 자주 사용하는 패턴은 외부 시스템 이벤트 => 자사 시스템 연동(데이터 저장) 방식임
• 꼭 저장되어야하는 몇가지 데이터를 생각해봐야함
  1. 원본 데이터 저장
     • 모든 원본 데이터를 저장할지?
     • 데이터를 변경하는 경우가 있는데, 변경된 데이터의 원본 저장 ex) sent_at, sent_ms
  2. 중복 저장을 어떻게 막을 건지?
     • bigquery insertall에서 insertId 역할

참고

webhook 정보 처리 queue, consumer 패턴