한국어English日本語简体中文繁體中文DeutschไทยTiếng ViệtРусскийPortuguês (Brasil)EspañolBahasa Indonesia

Анатомия игровых лагов › L5 Сетевое оборудование ЦОД

Неисправный кабель и ошибки порта Bad cable / optics (CRC errors)

ID причины dc-bad-cable · Основной ответственный Команда инфраструктуры · Сетевая инфраструктура

Открыть карточку в основной версии с иллюстрациями и экспериментами →

Если оптический модуль или кабель неисправен, определённая доля пакетов на этом пути повреждается.

Почему Битовые ошибки из-за неисправного оптического модуля или кабеля → Следствие Повреждённые пакеты устройство молча отбрасывает → На экране Только у части серверов и игроков на этом пути постоянные потери, телепортация и откидывание назад

Симптомы
Телепортация, Откидывание назад
Факторы
Потери
У кого
Одна локация или канал
Когда
Всегда
Ответственные
Основной ответственный Команда инфраструктуры · Сетевая инфраструктура
Команда инфраструктуры: задачи
Мониторить счётчики ошибок портов (CRC) и ставить алерты, менять оптические модули, кабели и другие компоненты, до замены выводить проблемный линк и пускать трафик в обход.
На графике
Высоко только у некоторых · число ошибок CRC по портам, доля потерь по серверам и путям
Где смотреть
Посмотреть счётчики CRC на обоих концах линка. На коммутаторе ошибки FCS порта (dot3StatsFCSErrors) и ошибки приёма (ifInErrors), на сервере crc в RX errors из ip -s -s link (статистика ядра rx_crc_errors)
Подтверждает
Ошибки CRC на одном порту стабильно растут независимо от объёма трафика и времени суток, и потери есть только у серверов и игроков, чей трафик идёт через этот порт
Опровергает
Если ошибок CRC нет, а растут только выходные отбрасывания, это перегрузка («Микробёрсты на коммутаторе», «Перегрузка линии связи ЦОД»)
Чем проверить
Инструменты инфраструктуры (игровой код не нужен)

Источники

  1. Understanding and Mitigating Packet Corruption in Data Center Networks (SIGCOMM 2017) ACM
    Анализ 350 000 линков в ЦОД: повреждения пакетов вызывают неисправные оптические модули, повреждённое волокно и грязные коннекторы, доля повреждений постоянна и не зависит от загрузки, проблемные линки выводят и ремонтируют, сохраняя нужное число путей
  2. RFC 3635: Definitions of Managed Objects for the Ethernet-like Interface Types IETF
    Счётчик кадров, не прошедших проверку FCS (dot3StatsFCSErrors), эти ошибки входят в ошибки приёма (ifInErrors)
  3. Interface statistics Linux kernel
    rx_crc_errors: число принятых пакетов с ошибкой CRC, ошибки по видам смотреть через ip -s -s link

Смотрите также

Тот же слой: L5 Сетевое оборудование ЦОД

Причины с тем же симптомом (Телепортация) на других слоях

Карточка в основной версии с иллюстрациями и экспериментами