คู่มือเกมแลค › L11 ดิสก์
งานสำรองข้อมูล/บีบอัด/สแกน Backup / compression / scans
ID สาเหตุ dk-backup · ผู้รับผิดชอบหลัก อินฟราเซิร์ฟเวอร์ (ทีมอินฟรา) · ร่วมกับ อินฟรา DB (ทีมอินฟรา)
เปิดการ์ดในฉบับหลักที่มีภาพและการทดลอง →
ถ้าการสำรองข้อมูลตอนเช้ามืด, การบีบอัด log หรือการสแกนความปลอดภัยยึดดิสก์ไว้ การอ่านและเขียนของเซิร์ฟเวอร์เกมจะล่าช้า
ทำไม งานสำรองข้อมูลหรือบีบอัดที่ตั้งเวลาไว้เริ่มทำงาน → ผลคือ ใช้แบนด์วิดท์และ IOPS ของดิสก์ไปเกือบหมด → บนหน้าจอ แลคเวลาเดิมทุกวัน
- อาการ
- กระตุก, อินพุตดีเลย์
- ปัจจัย
- การหยุดชะงัก, ความหน่วง
- ใครเจอ
- ทั้งเซิร์ฟเวอร์
- เกิดเมื่อไร
- เป็นรอบสม่ำเสมอ
- ผู้รับผิดชอบ
- ผู้รับผิดชอบหลัก อินฟราเซิร์ฟเวอร์ (ทีมอินฟรา) · ร่วมกับ อินฟรา DB (ทีมอินฟรา)
- งานฝั่งทีมอินฟรา
- เครื่องเซิร์ฟเวอร์/OS: ลดลำดับความสำคัญ I/O ของงานสำรองข้อมูล บีบอัด และสแกน, กระจายเวลา เครื่อง DB: สำรองข้อมูลจาก replica
- บนกราฟ
- พุ่งเป็นรอบ · อัตราการใช้งานดิสก์, เวลารอของดิสก์
- จุดที่ต้องดู
- ใช้ sar -d ดูค่า %util, await และ aqu-sz จากข้อมูลย้อนหลังหลายวัน (ไฟล์รายวันใน /var/log/sa โดย sadc ต้องเก็บข้อมูลดิสก์ด้วย -S DISK) วางซ้อนแยกตามวัน และในช่วงเวลานั้นใช้ pidstat -d 1 หาโปรเซสที่มี kB_rd/s และ kB_wr/s สูงสุด แล้วเทียบกับตารางเวลาของ cron และ systemd timer
- สัญญาณว่าใช่
- await และ %util พุ่งเวลาเดิมทุกวัน และช่วงนั้นโปรเซสสำรองข้อมูล บีบอัด หรือสแกน กินการอ่านเขียนดิสก์ไปเกือบทั้งหมด
- สัญญาณว่าไม่ใช่
- เวลาที่พุ่งไม่ตรงกันในแต่ละวัน: ไม่น่าใช่งานที่ตั้งเวลาไว้ ถ้า I/O ส่วนใหญ่ในช่วงนั้นมาจากเซิร์ฟเวอร์เกมเอง ให้ดูฝั่งการเซฟและ log (dk-fsync, dk-sync-log)
- วิธีตรวจ
- ใช้เครื่องมือฝั่งอินฟรา (ไม่ต้องใช้โค้ดเกม)
แหล่งอ้างอิง
- ionice(1) — Linux manual page util-linux
งานที่รันด้วยคลาส idle จะได้ใช้ดิสก์เฉพาะตอนที่โปรแกรมอื่นไม่ได้ใช้ดิสก์ - Using Replication for Backups MySQL
หยุด replica แล้วสำรองข้อมูลก็ไม่กระทบการทำงานของ DB หลัก - sar(1) — Linux manual page sysstat
-d: await, aqu-sz และ %util แยกตามอุปกรณ์จากไฟล์รายวัน (ค่าเริ่มต้น /var/log/sa), ข้อมูลดิสก์ต้องเก็บด้วยออปชัน -S DISK ของ sadc - pidstat(1) — Linux manual page sysstat
-d: kB_rd/s และ kB_wr/s ของแต่ละโปรเซส (ปริมาณอ่านและเขียนดิสก์ต่อวินาที)
สาเหตุที่ควรดูประกอบ
ชั้นเดียวกัน: L11 ดิสก์
สาเหตุจากชั้นอื่นที่ทำให้เกิดอาการเดียวกัน (กระตุก)
ดูการ์ดในฉบับหลักที่มีภาพและการทดลอง