게임 렉 백서 › L4 인터넷 회선
BGP 경로 변경·수렴 Route change / BGP convergence
원인 ID isp-bgp · 주 담당 인프라팀·네트워크 인프라 · 함께 게임개발팀·서버 개발, 외부·외부
그림과 실험이 있는 원본 카드로 열기 →
인터넷의 경로 정보가 바뀌어 다시 수렴하는 몇 초~몇십 초(드물게 몇 분) 동안 패킷이 유실됩니다.
왜 어느 통신사 구간의 경로 정보가 바뀜 → 그러면 몇 초~몇십 초 동안 패킷이 사라지거나 새 경로로 전환 → 화면에서는 갑자기 몇 초 멈춘 뒤 핑 수치가 달라짐(예: 40 → 70ms)
- 증상
- 멈춤, 순간이동
- 요인
- 손실, 지연
- 누가 겪나
- 특정 지역·통신사
- 언제
- 가끔 무작위로
- 담당
- 주 담당 인프라팀·네트워크 인프라 · 함께 게임개발팀·서버 개발, 외부·외부
- 게임개발팀 할 일
- 짧은 끊김을 견디는 타임아웃(몇 초 멈춘 연결을 바로 끊지 않기).
- 인프라팀 할 일
- 경로 모니터링(우리 IP 대역의 경로·핑 변화 감시), 우리 회선 장애는 BFD로 1초 안에 감지해 전환(BGP 기본 홀드 타임은 90~180초), 먼 경로로 바뀐 채 돌아오지 않으면 다른 회선으로 트래픽 옮기기.
- 외부 할 일
- 경로가 자주 바뀌는 통신사 구간은 해당 통신사에 원인 확인 요청.
- 그래프에서는
- 어느 순간부터 계단처럼 올라감 · RTT, traceroute 경로
- 확인할 곳
- RTT가 바뀐 시각 전후의 traceroute·mtr 경로를 비교하고 RIPEstat BGPlay로 우리 주소 대역(prefix)의 BGP 경로 변경 기록을 봄
- 이러면 맞음
- 몇 초 멈춤과 함께 RTT가 다른 값으로 옮겨 가고 같은 시각 BGP 업데이트와 AS 경로 변경이 있음
- 이러면 아님
- 경로 변경 기록이 없는데 저녁에만 오르면 “피크 시간 피어링 구간 혼잡”, 일부 연결만 나쁘면 “ECMP 경로 하나의 불량”
- 확인 수단
- 인프라 도구로 확인(게임 코드 불필요)
- 실제 사례
- Cloudflare 2020: Cloudflare 백본 설정 오류로 일부 도시의 트래픽 손실
Meta 2021: Facebook 백본 명령 하나로 DNS까지 사라진 장애
Cloudflare 2025: Cloudflare 공용 DNS 1.1.1.1 장애
출처
- RFC 4271: A Border Gateway Protocol 4 (BGP-4) IETF
BGP 홀드 타임 권장 기본값 90초(이 시간 동안 상대 메시지가 없으면 세션을 끊음) - BGP updates in 2024 APNIC
불안정해진 경로가 다시 안정되기까지 하루 평균 25~35초(IPv4), 40~50초(IPv6) - Delayed Internet Routing Convergence (SIGCOMM 2000) ACM
경로 장애 뒤 수렴에 수 분까지 걸리고 그동안 손실·지연이 늘어남(2000년 당시 측정) - BGPlay (RIPEstat Data API) RIPE NCC
주소 대역(prefix)의 시작 시점 BGP 경로와 그 기간에 관측된 BGP 업데이트, 경로에 있는 AS 정보를 보여 줌
함께 보면 좋은 원인
같은 층: L4 인터넷 회선
같은 증상(멈춤)의 다른 층 원인
그림과 실험이 있는 원본 카드 보기