데이터센터 회선 포화 Uplink saturation

원인 ID dc-uplink · 주 담당 인프라팀·네트워크 인프라 · 함께 인프라팀·서버 인프라

패치 배포·로그 전송·백업이 게임과 같은 회선을 쓰면 회선이 꽉 찹니다.

왜 대용량 전송이 같은 회선을 점유 → 그러면 회선 대기열과 손실 증가 → 화면에서는 서버 전체 핑 상승과 순간이동

증상: 입력 지연, 순간이동
요인: 지연, 손실
누가 겪나: 서버 전체
언제: 일정한 주기로, 사람이 몰릴 때
담당: 주 담당 인프라팀·네트워크 인프라 · 함께 인프라팀·서버 인프라
인프라팀 할 일: 네트워크: 게임 트래픽 우선 처리(QoS), 대용량 전송 회선 분리, 회선 사용률 경보. 서버 장비·OS: 백업·로그 전송·배포에 속도 제한을 걸고 한산한 시간에 실행.
그래프에서는: 한도에 닿아 평평해짐 · 회선 사용률, RTT(핑)
확인할 곳: 데이터센터 회선(업링크) 인터페이스의 사용률(SNMP ifHCInOctets·ifHCOutOctets로 계산)과 출력 폐기(ifOutDiscards)를 백업·배포·로그 전송 일정과 같은 시간축에 놓고 봄
이러면 맞음: 회선 사용률이 대역폭 한도에 붙어 평평해진 시각에 서버 전체 RTT와 폐기가 오르고, 그 시각이 대용량 전송 작업과 겹침
이러면 아님: 분 단위 사용률이 한도에 한참 못 미치는데 폐기가 있으면 “스위치 마이크로버스트”
확인 수단: 인프라 도구로 확인(게임 코드 불필요)

출처

RFC 4594: Configuration Guidelines for DiffServ Service Classes IETF
게임 같은 실시간 대화형 트래픽과 백업 같은 대용량 전송을 서로 다른 서비스 등급으로 나눠 처리
RFC 7567: IETF Recommendations Regarding Active Queue Management IETF
장비로 들어오는 양이 내보내는 속도를 넘으면 대기열이 쌓이고 과도한 대기열이 지연의 주요 원인
RFC 2863: The Interfaces Group MIB IETF
ifHCInOctets·ifHCOutOctets: 인터페이스로 받고 보낸 바이트 수(64비트), ifOutDiscards: 내보내지 못하고 버린 패킷 수