요약
- biquery insertall에서 insertId는 중복 삽입을 방지해준다.
- 원본 데이터가 unique id를 제공한다면 그대로 쓰는 게 안정적
본문
- 로그 적재 과정에서는 언제나 네트워크 장애, 재시도 등으로 인한 중복요청이 발생할 수 있음
- insertId가 없으면 동일한 데이터가 여러번 들어와 데이터 무결성이 깨짐
- insertAll -> rows 배열안에 각 row에 insertId 지정가능함
- 빅쿼리에서는 동일 insertId를 가진 row를 1분 동안 deduplication 처리해줌