한국어English日本語简体中文繁體中文DeutschไทยTiếng ViệtРусскийPortuguês (Brasil)EspañolBahasa Indonesia

ゲームラグ白書 › L11 ディスク

クラウドディスクのバーストクレジット枯渇 Burst credit depletion

原因ID dk-burst · 主担当 インフラチーム・サーバーインフラ · 副担当 インフラチーム・DBインフラ

図と実験のあるメインページでこのカードを開く →

一部のクラウドディスクや小さなサーバースペックには、一時的にベースラインより速く使えるバーストクレジットがあります。忙しい時間が長引いてクレジットが底をつくと、速度が急に落ちます。

なぜ ベースライン性能を超えて長時間使用 → すると バーストクレジットが底をつき、ベースライン性能まで急落 → 画面では 毎晩、数時間たったころからラグが出始める

症状
カクつき, スローモーション, 入力遅延
要因
ストール, 遅延
誰に起きるか
サーバー全体
いつ
夜のピーク時間帯, 長時間稼働するほど
担当
主担当 インフラチーム・サーバーインフラ · 副担当 インフラチーム・DBインフラ
インフラチームの対応
サーバー機器・OS：性能保証型のディスク（gp3、IOPS指定型）、クレジット残高のアラート、インスタンスのディスク帯域幅のバースト上限とCPUクレジットも合わせて確認。DBサーバー：マネージドDBを含むDBのディスクも性能保証型に変更し、クレジット残高のアラート。
数値の目安
AWSのgp2 100GBディスクは通常300、バースト時3,000 IOPSで、クレジットが満タンなら約30分持ちます。gp3はクレジットなしで常に3,000です。Azureの小さなPremium SSDも、クレジットで最大30分バーストします。
グラフでは
上限で頭打ち · IOPS、バーストクレジット残高
確認箇所
CloudWatchのEBS BurstBalance（gp2・st1・sc1）、インスタンスのEBSIOBalance%・EBSByteBalance%（バーストする一部のインスタンス）、バースト可能インスタンスのCPUCreditBalanceを確認。AzureはData Disk Used Burst IO Credits Percentageなど、バーストクレジット使用率のメトリクスを確認
該当する場合
残高が0近くまで下がった時刻から、IOPS（VolumeReadOps・VolumeWriteOps）がベースライン性能で頭打ちになり、VolumeQueueLengthとラグが一緒に増える。ピークが数時間続いた後に始まる
該当しない場合
残高がどれも十分なのにIOPSが頭打ちなら、ボリューム・インスタンスの固定上限（dk-iops）
確認手段
インフラのツールで確認（ゲームコード不要）
もっと詳しく
ディスク自体に問題がなくても、小さな仮想サーバーはインスタンスのディスク帯域幅そのものにバースト上限（1日最低30分など）があり、同じ形になります。CPUクレジットを使う低価格のサーバーも、クレジットが底をつくとベースライン性能まで遅くなります。

出典

  1. Amazon EBS General Purpose SSD volumes AWS
    gp2のベースライン性能はGiBあたり3 IOPS（最小100）、I/Oクレジットで3,000 IOPSまでバースト、540万クレジットで最低30分。gp3はバーストなしで常に3,000 IOPS
  2. Managed disk bursting Microsoft Azure
    Premium SSD P20以下はクレジットベースのバースト、クレジットが満タンなら最大バースト速度で30分
  3. Amazon EBS-optimized instance types AWS
    一部のインスタンスはEBSの最大性能を24時間に1回、30分だけ維持し、その後ベースライン性能に戻る
  4. Standard mode for burstable performance instances AWS
    標準モードのバースト可能インスタンスは、CPUクレジットが尽きるとCPU使用率をベースラインまで（急落しないよう徐々に）下げる
  5. Amazon CloudWatch metrics for Amazon EBS AWS
    BurstBalance：gp2のI/Oクレジット、st1・sc1のスループットクレジットの残高（%）、VolumeReadOps・VolumeWriteOps・VolumeQueueLength
  6. CloudWatch metrics that are available for your instances AWS
    EBSIOBalance%・EBSByteBalance%：24時間に1回30分バーストする一部インスタンスのEBSクレジット残高、CPUCreditBalance：バースト可能インスタンスのCPUクレジット残高
  7. Disk metrics Microsoft Azure
    Data Disk Used Burst IO Credits Percentageなど、ディスク・VMのバーストクレジット使用率（5分間隔）

あわせて読みたい原因

同じ層：L11 ディスク

同じ症状（カクつき）を起こすほかの層の原因

図と実験のあるメインページでこのカードを見る