ケーブル不良・ポートエラー Bad cable / optics (CRC errors)

原因ID dc-bad-cable · 主担当 インフラチーム・ネットワークインフラ

光モジュールやケーブルが不良だと、その経路を通るパケットが一定の割合で壊れます。

なぜ光モジュール・ケーブルの不良でビットエラー → すると 壊れたパケットは機器が黙って破棄 → 画面では その経路を使う一部のサーバー・ユーザーだけが、継続的なパケットロスでワープ・引き戻し

症状: ワープ, 引き戻し
要因: パケットロス
誰に起きるか: 特定の場所・チャンネル
いつ: 常に
担当: 主担当 インフラチーム・ネットワークインフラ
インフラチームの対応: ポートエラー（CRC）カウンターの監視・アラート、光モジュール・ケーブルなどの部品交換、交換までは問題のリンクを外して迂回。
グラフでは: 一部だけ高い · ポートごとのCRCエラー数、サーバー・経路ごとのパケットロス率
確認箇所: リンクの両端のCRCカウンターを確認。スイッチはポートのFCSエラー（dot3StatsFCSErrors）・入力エラー（ifInErrors）、サーバーはip -s -s linkのRX errorsのうちcrc（カーネル統計のrx_crc_errors）
該当する場合: 1つのポートのCRCエラーがトラフィック量・時間帯と関係なく継続的に増え、そのポートを通るサーバー・ユーザーだけにパケットロスがある
該当しない場合: CRCエラーがなく出力破棄だけが増えるなら混雑（「スイッチのマイクロバースト」「データセンター回線の飽和」）
確認手段: インフラのツールで確認（ゲームコード不要）

出典

Understanding and Mitigating Packet Corruption in Data Center Networks (SIGCOMM 2017) ACM
データセンターの35万リンクを分析：破損の原因は不良な光モジュール・損傷した光ファイバー・汚れたコネクタ、破損率は使用量に関係なく一定、経路数を維持しながら問題のリンクを外して修理
RFC 3635: Definitions of Managed Objects for the Ethernet-like Interface Types IETF
フレームチェック（FCS）の失敗カウンター（dot3StatsFCSErrors）、このエラーは入力エラー（ifInErrors）に合算
Interface statistics Linux kernel
rx_crc_errors：CRCエラーで受信したパケット数、ip -s -s linkでエラーの種類ごとに確認