#DevOps

Istio 3-1편: 503과 Half-open Connection

Summary

Istio Ambient 모드 배포 중 503 에러? '유령 커넥션'을 잡아라!

IP 재사용과 Stale Connection이 만났을 때 벌어지는 트러블슈팅의 기록

Istio Ambient 모드 도입 후 마주한 가장 까다로운 503 에러의 원인을 로그 분석, 패킷 캡처, 소켓 상태 확인을 통해 심층 추적합니다. Envoy와 ztunnel 사이의 커넥션 생명주기 관리 허점을 발견하고, 서비스 중단 없는 배포를 위한 현실적인 해결책을 제시합니다.

01Waypoint가 종료된 Pod의 IP:Port 커넥션을 살아있는 것으로 착각하여 재사용하는 메커니즘 분석
02tcpdump와 Wireshark를 활용해 터널 내부(HBONE)와 외부 트래픽을 비교 분석하여 핸드쉐이크 생략 현상 포착
03AWS VPC CNI 환경의 빠른 IP 재할당이 stale connection 문제를 촉발하는 주요 트리거임을 입증
04Istio 업스트림(ztunnel/Envoy) 아키텍처에서 커넥션 풀링 방식의 근본적인 결함 식별
05EnvoyFilter를 통한 retry_on: reset 설정으로 프로덕션 환경의 503 에러 전파 차단 성공

RECOMMENDATION

Istio Ambient 모드를 운영하거나 도입 예정인 팀에게 필수적인 사례 연구이며, 네트워크 이슈 발생 시 pcap 분석과 소켓 상태 확인을 통한 논리적 디버깅 과정을 학습하기에 매우 훌륭한 자료입니다.

The Problem

Istio Ambient 모드 환경에서 워크로드 배포 시 간헐적으로 503 에러가 발생했으며, 이는 Waypoint 프록시가 이미 종료된 이전 Pod의 stale connection을 새 Pod로의 요청에 재사용하면서 발생한 문제였습니다.

The Solution

단기적으로는 Envoy의 retry 정책을 확장하여 'reset' 발생 시 자동 재시도하도록 설정하고, 장기적으로는 Istio 업스트림에 커넥션 풀 키(key)에 Pod UID 등의 메타데이터를 포함하거나 ztunnel의 Graceful Close 기능을 강화할 것을 제안했습니다.