Zettelkasten

NAT 게이트웨이 ENI의 Flow Log는 pkt-dstaddr로 출발 IP와 최종 목적지를 한 줄에 보여준다

·수정 2026.10.14·수정 2회

요약

  • NAT 게이트웨이의 네트워크 인터페이스(ENI)에 커스텀 포맷 Flow Log를 붙이고 pkt-srcaddr, pkt-dstaddr를 넣는다. 사설 IP에서 NAT로 들어오는 레코드는 dstaddr가 NAT의 사설 IP이고 pkt-dstaddr가 인터넷 쪽 최종 목적지라서, 이 레코드만 골라 bytes를 합치면 "어느 사설 IP가 어느 외부 IP로 얼마나 보냈는지"가 바로 나온다.
  • 기본 포맷만 쓰면 안 되는 이유: 기본 포맷에는 pkt-* 필드가 없어서 NAT ENI 기준으로 "사설 IP → NAT"와 "NAT → 외부"가 서로 다른 줄로 갈라진다. 두 줄을 이을 키가 없다.
  • VPC 전체에 Flow Log를 켜지 않는 이유: DB·캐시·로드밸런서처럼 VPC 안에서 오가는 트래픽까지 다 기록돼 레코드가 커진다. 인터넷으로 나가는 바이트만 궁금하면 NAT ENI 하나로 충분하다.

본문

NAT ENI에 남는 레코드 4줄 (AWS 문서 예시)

인스턴스 10.0.1.5가 NAT(10.0.0.220)를 거쳐 203.0.113.5로 나갈 때, 필드 순서는 srcaddr dstaddr pkt-srcaddr pkt-dstaddr이다.

10.0.1.5    10.0.0.220  10.0.1.5     203.0.113.5   # 인스턴스 → NAT. pkt-dstaddr가 최종 목적지
10.0.0.220  203.0.113.5 10.0.0.220   203.0.113.5   # NAT → 외부
203.0.113.5 10.0.0.220  203.0.113.5  10.0.0.220    # 외부 → NAT (응답)
10.0.0.220  10.0.1.5    203.0.113.5  10.0.1.5      # NAT → 인스턴스. pkt-srcaddr가 원래 출발지

송신량은 첫 줄, 수신량은 넷째 줄만 세면 된다. 둘째·셋째 줄까지 더하면 같은 바이트를 두 번 센다.

켜는 방법 (관측: 이렇게 켰다)

# NAT의 ENI 찾기
aws ec2 describe-nat-gateways --nat-gateway-ids <NAT_ID> \
  --query 'NatGateways[0].NatGatewayAddresses[0].[NetworkInterfaceId,PrivateIp]'

aws ec2 create-flow-logs --resource-type NetworkInterface --resource-ids <NAT_ENI_ID> \
  --traffic-type ACCEPT \
  --log-destination-type s3 --log-destination arn:aws:s3:::<BUCKET>/nat-egress/ \
  --max-aggregation-interval 600 \
  --log-format '${start} ${srcaddr} ${dstaddr} ${pkt-srcaddr} ${pkt-dstaddr} ${dstport} ${protocol} ${packets} ${bytes}' \
  --destination-options FileFormat=plain-text,HiveCompatiblePartitions=false,PerHourPartition=true
  • 집계 간격은 기본 10분이고 1분으로 줄일 수 있다. 목적지별 합계만 볼 거라 10분으로 두어 레코드 수를 줄였다.
  • 버킷에 7일 만료 lifecycle을 걸고, Flow Log 자체는 2~3일 뒤 지우는 임시 측정으로 썼다.
  • Flow Log는 트래픽 경로 밖에서 수집돼서 켜고 끄는 동안 네트워크 처리량이나 지연에 영향이 없다(AWS 문서).

집계

NAT=<NAT_PRIVATE_IP>
# 첫 줄 유형만: dstaddr가 NAT이고, srcaddr가 사설 대역이고, pkt-dstaddr가 외부
awk -v nat=$NAT '$3==nat && $2 ~ /^10\./ && $5 !~ /^10\./ {b[$5" "$6]+=$9}
  END{for(k in b) printf "%10.1f MB %s\n", b[k]/1e6, k}' flows.txt | sort -rn | head -20

(10\.은 VPC CIDR에 맞게 바꾼다.)

출발 IP와 목적지 IP를 이름으로 바꾸기 (관측)

  • 출발 IP: aws ec2 describe-network-interfaces --filters Name=addresses.private-ip-address,Values=<IP목록>의 description에 ECS 태스크는 attachment ARN, Lambda는 AWS Lambda VPC ENI-<함수명>-...이 들어 있다. ECS는 describe-tasks의 privateIPv4Address와 group(service:이름)으로 서비스까지 바꾼다.
  • 내려간 태스크의 ENI는 사라지므로, 오토스케일링이 잦은 서비스는 측정 기간 동안 IP→서비스 매핑을 주기적으로 쌓아 둬야 한다. 안 그러면 "미확인 IP"가 남는다.
  • 목적지 IP: whois와 역방향 DNS로 주인(클라우드·SaaS)을 먼저 가린다. CDN 뒤에 있는 서비스는 IP만으로 구분이 안 되므로, 애플리케이션 설정에 들어 있는 엔드포인트 호스트명을 dig해서 IP를 맞춰 본다. SaaS 수집 서버는 처음 접속하는 호스트가 아니라 리다이렉트받은 호스트(예: collector-00N...)로 보내는 경우가 있어서, 그 호스트까지 dig해야 맞았다.
  • 참고: 출발 태스크 쪽 ENI에 Flow Log를 붙인다면 v7 필드 ecs-service-name, ecs-task-id로 서비스 이름을 바로 받을 수 있다. NAT ENI 레코드에서도 채워지는지는 확인하지 않았다.

비용 (관측)

  • NAT 하나(하루 신규 연결 약 160만 건)에서 하루 약 500만 레코드, 압축 전 약 0.43GB였다. S3 전달 단가(서울, Pricing API 기준 $0.38/GB)로 하루 약 $0.16이다.
  • 켜기 전에 CloudWatch AWS/NATGateway의 ConnectionEstablishedCount에 연결당 4줄을 곱하면 레코드 수 상한을 어림할 수 있다. 실측은 그 상한보다 적었다.
  • 켜고 1시간 뒤 S3에 쌓인 크기를 하루치로 환산해 보고 계속할지 정하면, 예상이 틀려도 손해가 1시간치로 끝난다.

측정 결과의 쓰임 (관측)

API 서버가 있는 private 서브넷의 NAT 송신 중 약 52%는 APM 수집 서버, 약 33%는 외부 STT 엔드포인트였다. 첫 번째는 New Relic 파이썬 에이전트는 64KB 이하 페이로드를 압축하지 않는다로 이어졌다.

관련 노트

참고