Sobrecarga de equipamento intermediário (firewall, IPS, proteção contra DDoS) Inline appliance PPS / CPU overload
ID da causa rt-appliance-pps · Responsável principal Infraestrutura de rede (Equipe de infraestrutura) · Também envolvidos Desenvolvimento do servidor (Equipe de desenvolvimento)
Firewalls, sistemas de prevenção de intrusão (IPS) e equipamentos de proteção contra DDoS inspecionam um por um os pacotes que passam. Quando a carga passa da capacidade de inspeção, eles descartam os pacotes que não conseguem processar.
Por quê Em horários de pico e eventos, chegam centenas de milhares de pequenos pacotes de jogo por segundo (ou mais), ou então as regras de inspeção são pesadas → Efeito O limite de CPU ou de pacotes por segundo do equipamento se esgota e ele descarta pacotes. Com falso positivo, bloqueia até pacotes legítimos → Na tela Travamentos e teleporte ao mesmo tempo em todos os servidores atrás desse equipamento, piorando só quando junta muita gente
Responsável principal Infraestrutura de rede (Equipe de infraestrutura) · Também envolvidos Desenvolvimento do servidor (Equipe de desenvolvimento)
O que fazer (Equipe de desenvolvimento)
Compartilhar com a equipe de infraestrutura o padrão de tráfego do jogo (portas, tamanho dos pacotes, pacotes por segundo), juntar as mensagens pequenas de um tick e enviá-las de uma vez para reduzir o número de pacotes.
O que fazer (Equipe de infraestrutura)
Acompanhar CPU, pacotes por segundo e contadores de descarte do equipamento junto com as métricas do jogo, dimensionar a capacidade do equipamento com base em pacotes pequenos, tirar as portas do jogo das inspeções pesadas, ajustar as regras de proteção contra DDoS ao padrão de tráfego do jogo.
Números de referência
Os “10 Gbps” da especificação do equipamento muitas vezes valem para pacotes grandes, de 1.500 bytes. Pacotes de jogo têm por volta de 100 bytes, o que dá mais de 10 vezes mais pacotes na mesma largura de banda; o limite de pacotes por segundo esgota primeiro, mesmo com o link parecendo ocioso.
No gráfico
Achata ao bater no limite · Pacotes por segundo e uso de CPU do equipamento, descartes no equipamento
Onde olhar
Ver CPU, pacotes por segundo e contadores de descarte do equipamento e comparar, no mesmo intervalo, a contagem de pacotes nas portas de switch antes e depois dele. Sobrepor na mesma tela o número de jogadores simultâneos e a taxa de retransmissão dos servidores
Confirma se
Em picos e eventos, os pacotes por segundo ou a CPU do equipamento estacionam em um valor e não sobem mais, saem do equipamento menos pacotes do que entram, e no mesmo momento a taxa de retransmissão sobe em todos os servidores atrás dele
Descarta se
Mesma contagem de pacotes antes e depois do equipamento e sem descartes nele: outra causa. Contadores de descarte da NIC ou softnet dropped subindo no servidor: “Descarte de pacotes no servidor receptor”
Como verificar
Ferramentas de infra (sem precisar do código do jogo)