가상화 오버헤드·노이지 네이버 Noisy neighbors in virtualization

원인 ID nic-noisy · 주 담당 인프라팀·서버 인프라 · 함께 외부·외부

같은 물리 서버의 다른 가상 머신이 네트워크·CPU를 많이 쓰면 내 서버의 처리가 불규칙하게 밀립니다.

왜 같은 물리 서버의 다른 가상 머신이 자원을 많이 씀 → 그러면 내 가상 머신의 패킷 처리가 불규칙하게 지연 → 화면에서는 뚜렷한 원인 없이 가끔 지터(도착 간격의 흔들림)가 생겨 뚝뚝 끊김

증상: 뚝뚝 끊김
요인: 지터
누가 겪나: 서버 전체
언제: 가끔 무작위로
담당: 주 담당 인프라팀·서버 인프라 · 함께 외부·외부
인프라팀 할 일: 전용 호스트, 성능 보장 인스턴스, 지터가 계속되는 인스턴스는 중지 후 다시 시작해 다른 호스트로 옮기기.
외부 할 일: 클라우드 사업자에 문제 호스트 신고.
그래프에서는: 가끔 무작위로 튐 · 같은 데이터센터 안 왕복 시간 지터, %steal
확인할 곳: 같은 데이터센터의 다른 서버로 계속 ping을 보내 왕복 시간의 지터를 기록하고, mpstat의 %steal과 함께 같은 구성의 다른 인스턴스와 비교
이러면 맞음: 이 인스턴스만 왕복 시간 지터나 %steal이 불규칙하게 튀고 같은 구성의 다른 인스턴스는 조용함. 중지 후 다시 시작해 다른 호스트로 옮기면 사라짐
이러면 아님: 같은 구성의 인스턴스가 모두 똑같이 튀면 호스트 문제가 아님. 게임 서버 쪽 부하나 네트워크 구간을 봄
확인 수단: 인프라 도구로 확인(게임 코드 불필요)

출처

How EC2 instance stop and start works AWS
인스턴스를 중지했다 시작하면 대부분 새 호스트로 옮겨짐(전용 호스트 제외)
mpstat(1) — Linux manual page sysstat
%steal: 하이퍼바이저가 다른 가상 CPU를 돌리는 동안 이 가상 CPU가 어쩔 수 없이 기다린 시간 비율