Sách trắng lag game › L7 OS server (kernel)

Tác vụ theo lịch Cron jobs (log rotation, backup, scans)

ID nguyên nhân so-cron · Phụ trách chính Hạ tầng server (Đội hạ tầng)

Mở thẻ gốc có hình minh họa và thí nghiệm →

Các tác vụ nén log, sao lưu và quét bảo mật chạy vào cùng một giờ mỗi ngày chiếm CPU và ổ đĩa.

Vì sao Tác vụ của OS chạy vào giờ đã định → Dẫn đến Tác vụ dùng chung CPU và ổ đĩa với server game → Trên màn hình Giật khựng và quay chậm vào giờ cố định, ví dụ 4 giờ sáng mỗi ngày

Triệu chứng

Giật khựng, Quay chậm

Yếu tố

Ngưng trệ

Ai gặp phải

Cả server

Khi nào

Theo chu kỳ đều

Phụ trách

Phụ trách chính Hạ tầng server (Đội hạ tầng)

Việc cần làm (Đội hạ tầng)

Rải giờ chạy tác vụ, hạ mức ưu tiên (nice, ionice), tách khỏi server game (chạy trên server riêng).

Trên đồ thị

Vọt lên theo chu kỳ · Mức sử dụng CPU, hàng đợi ổ đĩa, thời gian tick của server

Chỗ cần xem

Giờ chạy của các tác vụ theo lịch, lấy từ crontab và systemctl list-timers; tiến trình nào dùng CPU và ổ đĩa vào lúc tick vọt lên, xem bằng pidstat -u -d

Đúng nếu

tick vọt lên vào cùng một thời điểm mỗi ngày (hoặc mỗi giờ), và lúc đó tiến trình của tác vụ theo lịch chiếm CPU và ổ đĩa

Loại trừ nếu

thời điểm vọt lên không trùng với một giờ cố định mỗi ngày. Vọt lên cách vài giây hoặc vài phút một lần → “GC dừng toàn bộ server”, “Timer kích hoạt dồn cùng lúc”

Cách kiểm tra

Kiểm tra bằng công cụ hạ tầng (không cần code game)

Nguồn

1. ionice(1) — Linux manual page util-linux
   Tác vụ thuộc lớp idle chỉ được dùng I/O khi không có chương trình nào khác dùng ổ đĩa
2. systemd.timer(5) — Linux manual page systemd
   RandomizedDelaySec lùi giờ chạy tác vụ theo lịch một khoảng ngẫu nhiên để giảm dồn tải
3. systemctl(1) — Linux manual page systemd
   list-timers: liệt kê các timer unit theo thứ tự giờ chạy kế tiếp
4. pidstat(1) — Linux manual page sysstat
   -u hiển thị CPU, -d hiển thị I/O ổ đĩa theo từng tiến trình

Nguyên nhân nên xem cùng

Cùng tầng: L7 OS server (kernel)

• Tràn hàng đợi kết nối (backlog)
• Giới hạn file descriptor
• Bộ đệm socket của kernel quá nhỏ
• Quá nhiều thread và context switch
• CPU steal (máy ảo)
• CPU throttling trong container (CFS quota)
• Độ trễ vọt lên do quản lý nguồn điện của server (C-state, điều chỉnh xung nhịp)
• OOM killer
• Dừng do thu hồi bộ nhớ và compaction
• Đồng hồ hệ thống nhảy (NTP step)
• Hiệu năng thay đổi sau khi cập nhật OS, kernel, driver hoặc firmware
• Bảng conntrack của server bị đầy
• Cạn cổng tạm (ephemeral port) ở kết nối giữa các server

Nguyên nhân ở tầng khác gây cùng triệu chứng (Giật khựng)

• Frame time vọt lên L1 Tiến trình game phía client
• Thu gom rác (GC) phía client L1 Tiến trình game phía client
• Tải đồng bộ trên main thread và biên dịch shader L1 Tiến trình game phía client
• Ổ lưu trữ chậm khiến streaming asset không theo kịp L1 Tiến trình game phía client
• Tải render khi đông người L1 Tiến trình game phía client
• Bộ đệm nội suy không có hoặc quá ngắn L1 Tiến trình game phía client
• Ngoại suy quá mức (dead reckoning) L1 Tiến trình game phía client
• Fixed timestep chạy bù mất kiểm soát L1 Tiến trình game phía client

Xem thẻ gốc có hình minh họa và thí nghiệm