При падении сервер пишет на диск несколько GB памяти, и перезапуск может задерживаться на несколько минут.
Почему Сервер падает и записывает всю память в файл → Следствие Пока пишутся несколько GB, перезапустить сервер нельзя → На экране Сервер падает, у всех дисконнект, после чего ещё долго ошибка входа
Основной ответственный Команда инфраструктуры · Серверная инфраструктура · Совместно Команда разработки · Разработка сервера
Команда разработки: задачи
Рассмотреть мини-дампы, где хранится только нужная часть памяти, исправить причину падения.
Команда инфраструктуры: задачи
Ограничить размер дампа (настройки core dump в ОС), использовать быстрый диск, отделить перезапуск от дампа (сжатие и выгрузку дампа делать отдельно после перезапуска).
На графике
Массовый обрыв соединений · число подключений, время перезапуска сервера
Где смотреть
Сопоставить время падения, размер core-файла (coredumpctl list и info или файл там, куда указывает core_pattern), время окончания записи файла и время, когда сервис снова поднялся, и смотреть в этом интервале wkB/s в iostat -x
Подтверждает
После падения, пока пишется core-файл на несколько GB, запись на диск держится около лимита, и перезапуск начинается только после окончания записи
Опровергает
Если core dump выключен или получился маленьким, а перезапуск всё равно долгий, дело в процессе старта сервера: загрузка карт, холодный кэш БД (db-cold-cache) и т. п.
Чем проверить
Инструменты инфраструктуры (игровой код не нужен)
Источники
core(5) — Linux manual pageLinux man-pages RLIMIT_CORE задаёт предел размера core-файла, coredump_filter выбирает, какие области памяти включать, core dump можно передать по конвейеру в программу и обработать отдельно
Minidump FilesMicrosoft Мини-дамп содержит только полезную часть информации аварийного дампа, поэтому создаётся быстро и занимает мало места
coredumpctl(1) — Linux manual pagesystemd list: список core dump в журнале (TIME: время падения по данным ядра), info: подробности по каждому дампу и записанный на диск размер