Game-Lag-Whitepaper › L7 Server-OS (Kernel)

Zeitgesteuerte Jobs Cron jobs (log rotation, backup, scans)

Ursachen-ID so-cron · Hauptzuständig Server-Infrastruktur (Infrastrukturteam)

In der interaktiven Fassung mit Grafiken und Experimenten öffnen →

Log-Komprimierung, Backups und Sicherheitsscans, die jeden Tag zur selben Zeit laufen, belegen CPU und Datenträger.

Warum OS-Jobs starten zu festen Zeiten → Folge Spielserver muss sich CPU und Datenträger mit ihnen teilen → Auf dem Bildschirm Ruckeln und Zeitlupe zu festen Uhrzeiten, etwa jeden Tag um 4 Uhr morgens

Symptome

Ruckeln, Zeitlupe

Faktoren

Stillstand

Wer ist betroffen

Ganzer Server

Wann

In festen Abständen

Zuständigkeit

Hauptzuständig Server-Infrastruktur (Infrastrukturteam)

Aufgaben Infrastrukturteam

Startzeiten der Jobs verteilen, Priorität senken (nice, ionice), vom Spielserver trennen (auf einem eigenen Server ausführen).

Im Graphen

Spitzen in festen Abständen · CPU-Auslastung, Disk-Warteschlange, Server-Tick-Zeit

Wo nachsehen

Startzeiten der Jobs aus crontab und systemctl list-timers sammeln, zum Zeitpunkt der Tick-Spitzen mit pidstat -u -d prüfen, welche Prozesse CPU und Datenträger belegen

Spricht dafür

Tick schlägt jeden Tag (oder jede Stunde) zur selben Zeit aus, und zu dieser Zeit belegen Job-Prozesse CPU und Datenträger

Spricht dagegen

Spitzen passen zu keiner festen täglichen Uhrzeit: diese Ursache scheidet aus. Spitzen alle paar Sekunden oder Minuten: „Stop-the-World-GC-Pause auf dem Server“, „Gleichzeitig auslösende Timer“

Prüfmittel

Mit Infrastruktur-Tools prüfbar (ohne Spielcode)

Quellen

1. ionice(1) — Linux manual page util-linux
   Jobs der Klasse idle erhalten nur dann I/O, wenn kein anderes Programm auf den Datenträger zugreift
2. systemd.timer(5) — Linux manual page systemd
   RandomizedDelaySec verzögert Jobs um einen zufälligen Wert und verringert so Lastspitzen
3. systemctl(1) — Linux manual page systemd
   list-timers: zeigt Timer-Units sortiert nach der nächsten Ausführung
4. pidstat(1) — Linux manual page sysstat
   -u zeigt CPU, -d Disk-I/O pro Prozess

Verwandte Ursachen

Gleiche Schicht: L7 Server-OS (Kernel)

• Überlauf der Verbindungswarteschlange (Backlog)
• Dateideskriptor-Limit
• Zu kleine Socket-Puffer im Kernel
• Zu viele Threads und Kontextwechsel
• CPU-Steal (virtuelle Maschine)
• CPU-Throttling im Container (CFS-Quota)
• Latenzspitzen durch Energieverwaltung des Servers (C-States und Frequenzskalierung)
• OOM-Killer
• Stillstand durch Speicherrückgewinnung (Reclaim) und Compaction
• Sprung der Systemuhr (NTP-Step)
• Leistungsänderung nach OS-, Kernel-, Treiber- oder Firmware-Update
• Volle conntrack-Tabelle auf dem Server
• Erschöpfte ephemere Ports bei Verbindungen zwischen Servern

Ursachen aus anderen Schichten mit demselben Symptom (Ruckeln)

• Frametime-Spikes L1 Spielprozess auf dem Client
• Garbage Collection auf dem Client L1 Spielprozess auf dem Client
• Synchrones Laden und Shader-Kompilierung im Main-Thread L1 Spielprozess auf dem Client
• Langsamer Datenträger bremst Asset-Streaming L1 Spielprozess auf dem Client
• Renderlast durch große Spielermengen L1 Spielprozess auf dem Client
• Fehlender oder zu kurzer Interpolationspuffer L1 Spielprozess auf dem Client
• Übermäßige Extrapolation (Dead Reckoning) L1 Spielprozess auf dem Client
• Aufholspirale bei festem Zeitschritt L1 Spielprozess auf dem Client

Karte in der interaktiven Fassung mit Grafiken und Experimenten ansehen