データセンター回線の飽和 Uplink saturation

原因ID dc-uplink · 主担当 インフラチーム・ネットワークインフラ · 副担当インフラチーム・サーバーインフラ

アップデートデータの配信・ログ転送・バックアップがゲームと同じ回線を使うと、回線がいっぱいになります。

なぜ大容量の転送が同じ回線を占有 → すると 回線のキューとパケットロスが増加 → 画面では サーバー全体でPingの上昇とワープ

症状: 入力遅延, ワープ
要因: 遅延, パケットロス
誰に起きるか: サーバー全体
いつ: 一定の周期で, 人が集中したとき
担当: 主担当 インフラチーム・ネットワークインフラ · 副担当インフラチーム・サーバーインフラ
インフラチームの対応: ネットワーク：ゲームのトラフィックを優先処理（QoS）、大容量転送用の回線を分離、回線使用率のアラート。サーバー機器・OS：バックアップ・ログ転送・デプロイに速度制限をかけ、空いている時間帯に実行。
グラフでは: 上限で頭打ち · 回線使用率、RTT（Ping）
確認箇所: データセンター回線（アップリンク）のインターフェースの使用率（SNMPのifHCInOctets・ifHCOutOctetsから計算）と出力破棄（ifOutDiscards）を、バックアップ・デプロイ・ログ転送のスケジュールと同じ時間軸に並べて確認
該当する場合: 回線使用率が帯域幅の上限に張り付いて平らになった時刻に、サーバー全体のRTTと破棄が上がり、その時刻が大容量の転送作業と重なる
該当しない場合: 分単位の使用率が上限にほど遠いのに破棄があるなら「スイッチのマイクロバースト」
確認手段: インフラのツールで確認（ゲームコード不要）

出典

RFC 4594: Configuration Guidelines for DiffServ Service Classes IETF
ゲームのようなリアルタイムの対話型トラフィックと、バックアップのような大容量転送を別々のサービスクラスに分けて処理
RFC 7567: IETF Recommendations Regarding Active Queue Management IETF
機器に入ってくる量が送り出す速度を超えるとキューがたまり、過剰なキューが遅延の主な原因
RFC 2863: The Interfaces Group MIB IETF
ifHCInOctets・ifHCOutOctets：インターフェースで受信・送信したバイト数（64ビット）、ifOutDiscards：送り出せずに破棄したパケット数