ゲームラグ白書 › L4 インターネット回線
BGPの経路変更・収束 Route change / BGP convergence
原因ID isp-bgp · 主担当 インフラチーム・ネットワークインフラ · 副担当 ゲーム開発チーム・サーバー開発, 外部・外部
図と実験のあるメインページでこのカードを開く →
インターネットの経路情報が変わり、再び収束するまでの数秒〜数十秒(まれに数分)の間、パケットが失われます。
なぜ どこかの通信事業者の区間で経路情報が変わる → すると 数秒〜数十秒の間パケットが消えるか、新しい経路に切り替わる → 画面では 突然数秒止まった後、Pingの値が変わる(例:40→70ms)
- 症状
- フリーズ, ワープ
- 要因
- パケットロス, 遅延
- 誰に起きるか
- 特定の地域・ISP
- いつ
- ときどきランダムに
- 担当
- 主担当 インフラチーム・ネットワークインフラ · 副担当 ゲーム開発チーム・サーバー開発, 外部・外部
- ゲーム開発チームの対応
- 短い途切れに耐えるタイムアウト(数秒止まった接続をすぐに切らない)。
- インフラチームの対応
- 経路の監視(自社IPアドレス帯の経路・Pingの変化を監視)、自社回線の障害はBFDで1秒以内に検知して切り替え(BGPのデフォルトのホールドタイムは90〜180秒)、遠い経路に変わったまま戻らなければ別の回線にトラフィックを移す。
- 外部の対応
- 経路が頻繁に変わる通信事業者の区間は、その通信事業者に原因の確認を依頼。
- グラフでは
- ある時点から階段状に上昇 · RTT、tracerouteの経路
- 確認箇所
- RTTが変わった時刻の前後でtraceroute・mtrの経路を比較し、RIPEstatのBGPlayで自社アドレス帯(prefix)のBGP経路変更の履歴を確認
- 該当する場合
- 数秒の停止と同時にRTTが別の値に移り、同じ時刻にBGPアップデートとAS経路の変更がある
- 該当しない場合
- 経路変更の履歴がないのに夜だけ上がるなら「ピーク時間帯のピアリング混雑」、一部の接続だけ悪ければ「ECMP経路のうち1本の不良」
- 確認手段
- インフラのツールで確認(ゲームコード不要)
- 実際の事例
- Cloudflare 2020: Cloudflareのバックボーン設定ミスで一部都市のトラフィックが途絶
Meta 2021: バックボーンへのコマンド一つでDNSまで消えたFacebookの障害
Cloudflare 2025: CloudflareのパブリックDNS 1.1.1.1の障害
出典
- RFC 4271: A Border Gateway Protocol 4 (BGP-4) IETF
BGPのホールドタイムの推奨デフォルト値は90秒(この時間内に相手からメッセージがなければセッションを切断) - BGP updates in 2024 APNIC
不安定になった経路が再び安定するまで、1日平均で25〜35秒(IPv4)、40〜50秒(IPv6) - Delayed Internet Routing Convergence (SIGCOMM 2000) ACM
経路障害の後、収束に数分かかることがあり、その間はパケットロス・遅延が増える(2000年当時の測定) - BGPlay (RIPEstat Data API) RIPE NCC
アドレス帯(prefix)の開始時点のBGP経路と、その期間に観測されたBGPアップデート、経路上のAS情報を表示
あわせて読みたい原因
同じ層:L4 インターネット回線
同じ症状(フリーズ)を起こすほかの層の原因
図と実験のあるメインページでこのカードを見る