คู่มือเกมแลค › L6 การ์ดเครือข่ายของเซิร์ฟเวอร์
ปัญหาไดรเวอร์/เฟิร์มแวร์ของ NIC NIC hang / reset
ID สาเหตุ nic-reset · ผู้รับผิดชอบหลัก อินฟราเซิร์ฟเวอร์ (ทีมอินฟรา)
เปิดการ์ดในฉบับหลักที่มีภาพและการทดลอง →
ระหว่างที่การ์ดหยุดแล้วเริ่มใหม่เพราะบั๊กของไดรเวอร์หรือฟีเจอร์ทำงานผิดพลาด การรับส่งทั้งหมดจะขาด
ทำไม บั๊กของไดรเวอร์, ฟีเจอร์ offload ทำงานผิดพลาด → ผลคือ NIC หยุดแล้วเริ่มใหม่ (หลายวินาที) → บนหน้าจอ ทุกคนในเซิร์ฟเวอร์นั้นค้างพร้อมกันแล้ววาร์ปหรือหลุด
- อาการ
- ค้าง, หลุด
- ปัจจัย
- แพ็กเก็ตหาย
- ใครเจอ
- ทั้งเซิร์ฟเวอร์
- เกิดเมื่อไร
- สุ่มเป็นครั้งคราว, ยิ่งเปิดไว้นานยิ่งเป็น
- ผู้รับผิดชอบ
- ผู้รับผิดชอบหลัก อินฟราเซิร์ฟเวอร์ (ทีมอินฟรา)
- งานฝั่งทีมอินฟรา
- ตรวจและตั้ง alert ข้อความ “transmit queue … timed out” และ “Link is Down” ใน log ของเคอร์เนล, อัปเดตไดรเวอร์และเฟิร์มแวร์, ปิดฟีเจอร์ที่มีปัญหา (เช่น offload)
- บนกราฟ
- ขาดช่วงแล้วมารวดเดียว · จำนวนแพ็กเก็ตรับส่งของเซิร์ฟเวอร์
- จุดที่ต้องดู
- ใช้ dmesg หาใน log ของเคอร์เนลว่ามี “NETDEV WATCHDOG … transmit queue N timed out”, การรีเซ็ตของไดรเวอร์ หรือ “Link is Down” และ “Link is Up” หรือไม่ แล้วดูจำนวนแพ็กเก็ตรับส่งของเซิร์ฟเวอร์ในเวลานั้น
- สัญญาณว่าใช่
- ในเวลาที่หยุด log ของเคอร์เนลมี transmit queue timeout หรือบันทึกลิงก์ down และ up และในไม่กี่วินาทีนั้นจำนวนแพ็กเก็ตรับส่งเป็น 0
- สัญญาณว่าไม่ใช่
- ถ้า log ของเคอร์เนลสะอาดและพอร์ตฝั่งสวิตช์ก็ปกติ น่าจะเป็นโปรเซสเซิร์ฟเวอร์เกมหยุด (“GC ของเซิร์ฟเวอร์หยุดทั้งระบบ”, “เดดล็อก”) หรือ “การ failover ของอุปกรณ์เครือข่าย”
- วิธีตรวจ
- ใช้เครื่องมือฝั่งอินฟรา (ไม่ต้องใช้โค้ดเกม)
แหล่งอ้างอิง
- net/sched/sch_generic.c (Linux v6.12) Linux kernel
เมื่อ transmit queue หยุด watchdog ของเคอร์เนลจะบันทึก “NETDEV WATCHDOG … transmit queue N timed out” และเรียกฟังก์ชันรีเซ็ตของไดรเวอร์ - drivers/net/ethernet/intel/ixgbe/ixgbe_main.c (Linux v6.12) Linux kernel
ไดรเวอร์ ixgbe รีเซ็ตอะแดปเตอร์เมื่อการส่งหยุด และบันทึก “NIC Link is Down” เมื่อลิงก์ขาด - ethtool(8) — Linux manual page ethtool
ออปชัน ethtool -K สำหรับปิดฟีเจอร์ offload ทีละตัว
สาเหตุที่ควรดูประกอบ
ชั้นเดียวกัน: L6 การ์ดเครือข่ายของเซิร์ฟเวอร์
สาเหตุจากชั้นอื่นที่ทำให้เกิดอาการเดียวกัน (ค้าง)
ดูการ์ดในฉบับหลักที่มีภาพและการทดลอง