불량 케이블·포트 오류 Bad cable / optics (CRC errors)

원인 ID dc-bad-cable · 주 담당 인프라팀·네트워크 인프라

광모듈이나 케이블이 불량이면 그 경로를 지나는 패킷이 일정 비율로 깨집니다.

왜 광모듈·케이블 불량으로 비트 오류 → 그러면 깨진 패킷은 장비가 조용히 폐기 → 화면에서는 그 경로를 쓰는 일부 서버·사용자만 꾸준한 손실로 순간이동·고무줄

증상: 순간이동, 고무줄
요인: 손실
누가 겪나: 특정 장소·채널
언제: 항상
담당: 주 담당 인프라팀·네트워크 인프라
인프라팀 할 일: 포트 오류(CRC) 카운터 모니터링·경보, 광모듈·케이블 등 부품 교체, 교체 전까지 문제 링크를 빼서 우회.
그래프에서는: 일부만 높음 · 포트별 CRC 오류 수, 서버·경로별 손실률
확인할 곳: 링크 양쪽의 CRC 카운터를 봄. 스위치는 포트의 FCS 오류(dot3StatsFCSErrors)·입력 오류(ifInErrors), 서버는 ip -s -s link의 RX errors 중 crc(커널 통계 rx_crc_errors)
이러면 맞음: 한 포트의 CRC 오류가 트래픽 양·시간대와 상관없이 꾸준히 늘고 그 포트를 지나는 서버·유저만 손실이 있음
이러면 아님: CRC 오류가 없고 출력 폐기만 늘면 혼잡(“스위치 마이크로버스트”, “데이터센터 회선 포화”)
확인 수단: 인프라 도구로 확인(게임 코드 불필요)

출처

Understanding and Mitigating Packet Corruption in Data Center Networks (SIGCOMM 2017) ACM
데이터센터 35만 링크 분석: 깨짐 원인은 불량 광모듈·손상된 광섬유·더러운 커넥터, 깨짐률은 사용량과 무관하게 꾸준, 경로 수를 지키며 문제 링크를 빼고 수리
RFC 3635: Definitions of Managed Objects for the Ethernet-like Interface Types IETF
프레임 검사(FCS) 실패 카운터(dot3StatsFCSErrors), 이 오류는 입력 오류(ifInErrors)로 합산
Interface statistics Linux kernel
rx_crc_errors: CRC 오류로 받은 패킷 수, ip -s -s link로 오류 종류별 확인