คู่มือเกมแลค › L5 อุปกรณ์เครือข่ายในดาต้าเซ็นเตอร์
สายเสีย/พอร์ตมี error Bad cable / optics (CRC errors)
ID สาเหตุ dc-bad-cable · ผู้รับผิดชอบหลัก อินฟราเครือข่าย (ทีมอินฟรา)
เปิดการ์ดในฉบับหลักที่มีภาพและการทดลอง →
ถ้าโมดูลออปติกหรือสายเสีย แพ็กเก็ตที่ผ่านเส้นทางนั้นจะเสียหายในสัดส่วนคงที่
ทำไม บิตผิดพลาดเพราะโมดูลออปติกหรือสายเสีย → ผลคือ อุปกรณ์ทิ้งแพ็กเก็ตที่เสียหายเงียบ ๆ → บนหน้าจอ เฉพาะเซิร์ฟเวอร์และผู้เล่นบางส่วนที่ใช้เส้นทางนั้น แพ็กเก็ตหายต่อเนื่องจนวาร์ปหรือดีดกลับ
- อาการ
- วาร์ป, ดีดกลับ
- ปัจจัย
- แพ็กเก็ตหาย
- ใครเจอ
- บางจุด/บางแชนแนล
- เกิดเมื่อไร
- ตลอดเวลา
- ผู้รับผิดชอบ
- ผู้รับผิดชอบหลัก อินฟราเครือข่าย (ทีมอินฟรา)
- งานฝั่งทีมอินฟรา
- มอนิเตอร์และตั้ง alert ตัวนับ error ของพอร์ต (CRC), เปลี่ยนชิ้นส่วนอย่างโมดูลออปติกหรือสาย, ระหว่างรอเปลี่ยนให้ถอดลิงก์ที่มีปัญหาออกแล้วอ้อมไปทางอื่น
- บนกราฟ
- สูงเฉพาะบางกลุ่ม · จำนวน CRC error แยกตามพอร์ต, อัตราแพ็กเก็ตหายแยกตามเซิร์ฟเวอร์/เส้นทาง
- จุดที่ต้องดู
- ดูตัวนับ CRC ทั้งสองฝั่งของลิงก์ สวิตช์ดู FCS error (dot3StatsFCSErrors) และ input error (ifInErrors) ของพอร์ต เซิร์ฟเวอร์ดู crc ใน RX errors ของ ip -s -s link (สถิติเคอร์เนล rx_crc_errors)
- สัญญาณว่าใช่
- CRC error ของพอร์ตหนึ่งเพิ่มขึ้นต่อเนื่องไม่ว่าปริมาณทราฟฟิกหรือช่วงเวลาจะเป็นอย่างไร และมีแพ็กเก็ตหายเฉพาะเซิร์ฟเวอร์และผู้เล่นที่ผ่านพอร์ตนั้น
- สัญญาณว่าไม่ใช่
- ถ้าไม่มี CRC error แต่การทิ้งขาออกเพิ่มอย่างเดียว น่าจะเป็นความแออัด (“microburst ที่สวิตช์”, “ลิงก์ของดาต้าเซ็นเตอร์เต็ม”)
- วิธีตรวจ
- ใช้เครื่องมือฝั่งอินฟรา (ไม่ต้องใช้โค้ดเกม)
แหล่งอ้างอิง
- Understanding and Mitigating Packet Corruption in Data Center Networks (SIGCOMM 2017) ACM
วิเคราะห์ลิงก์ 350,000 เส้นในดาต้าเซ็นเตอร์: สาเหตุของความเสียหายคือโมดูลออปติกเสีย ไฟเบอร์เสียหาย และขั้วต่อสกปรก อัตราความเสียหายคงที่ไม่ว่าปริมาณการใช้งานจะเป็นเท่าไร และถอดลิงก์ที่มีปัญหาออกมาซ่อมโดยยังรักษาจำนวนเส้นทางไว้ - RFC 3635: Definitions of Managed Objects for the Ethernet-like Interface Types IETF
ตัวนับการตรวจเฟรม (FCS) ล้มเหลว (dot3StatsFCSErrors) และ error นี้รวมอยู่ใน input error (ifInErrors) - Interface statistics Linux kernel
rx_crc_errors: จำนวนแพ็กเก็ตที่รับมาพร้อม CRC error, ดูแยกตามชนิด error ได้ด้วย ip -s -s link
สาเหตุที่ควรดูประกอบ
ชั้นเดียวกัน: L5 อุปกรณ์เครือข่ายในดาต้าเซ็นเตอร์
สาเหตุจากชั้นอื่นที่ทำให้เกิดอาการเดียวกัน (วาร์ป)
ดูการ์ดในฉบับหลักที่มีภาพและการทดลอง