한국어English日本語简体中文繁體中文DeutschไทยTiếng ViệtРусскийPortuguês (Brasil)EspañolBahasa Indonesia

Game-Lag-Whitepaper › L4 Internetleitung

BGP-Routenwechsel und Konvergenz Route change / BGP convergence

Ursachen-ID isp-bgp · Hauptzuständig Netzwerk-Infrastruktur (Infrastrukturteam) · Beteiligt Server-Entwicklung (Entwicklungsteam), Extern (Extern)

In der interaktiven Fassung mit Grafiken und Experimenten öffnen →

Ändern sich Routing-Informationen im Internet, gehen Pakete verloren, bis die Routen wieder konvergiert sind. Das dauert einige bis einige Dutzend Sekunden (selten einige Minuten).

Warum Routing-Informationen in einem Providerabschnitt ändern sich → Folge Für einige bis einige Dutzend Sekunden gehen Pakete verloren, oder der Traffic wechselt auf eine neue Route → Auf dem Bildschirm Plötzlich einige Sekunden Freeze, danach ein anderer Ping-Wert (z. B. 40 → 70 ms)

Symptome
Freeze, Teleportieren
Faktoren
Paketverlust, Latenz
Wer ist betroffen
Bestimmte Region oder Provider
Wann
Gelegentlich, zufällig
Zuständigkeit
Hauptzuständig Netzwerk-Infrastruktur (Infrastrukturteam) · Beteiligt Server-Entwicklung (Entwicklungsteam), Extern (Extern)
Aufgaben Entwicklungsteam
Timeouts so wählen, dass kurze Aussetzer verkraftet werden (eine Verbindung, die einige Sekunden stillsteht, nicht sofort trennen).
Aufgaben Infrastrukturteam
Routen überwachen (Änderungen von Route und Ping für die eigenen IP-Bereiche), Ausfälle der eigenen Leitungen per BFD innerhalb von 1 s erkennen und umschalten (Standard-Hold-Time von BGP: 90–180 s), Traffic auf eine andere Leitung verlagern, wenn die Route auf einen weiten Umweg gewechselt ist und nicht zurückkehrt.
Aufgaben Extern
Bei Providerabschnitten mit häufigen Routenwechseln den Provider um Klärung der Ursache bitten.
Im Graphen
Stufe ab einem bestimmten Zeitpunkt · RTT, traceroute-Pfad
Wo nachsehen
Routen per traceroute und mtr vor und nach dem Zeitpunkt der RTT-Änderung vergleichen, mit RIPEstat BGPlay den Verlauf der BGP-Routenänderungen für die eigenen Adressbereiche (Prefix) ansehen
Spricht dafür
Nach einem Freeze von einigen Sekunden springt die RTT auf einen anderen Wert, zur selben Zeit gibt es BGP-Updates und Änderungen des AS-Pfads
Spricht dagegen
Keine Routenänderungen protokolliert, Anstieg nur abends: „Überlast am Peering-Punkt zur Stoßzeit“. Nur einzelne Verbindungen schlecht: „Einzelner defekter ECMP-Pfad“
Prüfmittel
Mit Infrastruktur-Tools prüfbar (ohne Spielcode)
Reale Fälle
Cloudflare 2020: Cloudflare: Traffic-Verlust in einigen Städten durch Konfigurationsfehler im Backbone
Meta 2021: Facebook: Ein einziger Backbone-Befehl lässt sogar das DNS verschwinden
Cloudflare 2025: Cloudflare: Ausfall des öffentlichen DNS 1.1.1.1

Quellen

  1. RFC 4271: A Border Gateway Protocol 4 (BGP-4) IETF
    Empfohlener Standardwert der BGP-Hold-Time: 90 s (kommt in dieser Zeit keine Nachricht vom Nachbarn, wird die Session beendet)
  2. BGP updates in 2024 APNIC
    Bis eine instabil gewordene Route wieder stabil ist, vergehen im Tagesmittel 25–35 s (IPv4) bzw. 40–50 s (IPv6)
  3. Delayed Internet Routing Convergence (SIGCOMM 2000) ACM
    Nach einem Routenausfall dauert die Konvergenz bis zu einigen Minuten, in dieser Zeit steigen Paketverlust und Latenz (Messung aus dem Jahr 2000)
  4. BGPlay (RIPEstat Data API) RIPE NCC
    Zeigt für einen Adressbereich (Prefix) die BGP-Routen zum Startzeitpunkt, die im Zeitraum beobachteten BGP-Updates und die AS auf dem Pfad

Verwandte Ursachen

Gleiche Schicht: L4 Internetleitung

Ursachen aus anderen Schichten mit demselben Symptom (Freeze)

Karte in der interaktiven Fassung mit Grafiken und Experimenten ansehen