システム メトリクス
2 minute read
このページでは、W&B SDKによって追跡されるシステムメトリクスについての詳細情報を提供します。
wandb
は、15秒ごとに自動的にシステムメトリクスをログに記録します。CPU
プロセスCPUパーセント (CPU)
プロセスによるCPU使用率を、利用可能なCPU数で正規化したものです。
W&Bは、このメトリクスに cpu
タグを割り当てます。
プロセスCPUスレッド
プロセスによって利用されるスレッドの数です。
W&Bは、このメトリクスに proc.cpu.threads
タグを割り当てます。
ディスク
デフォルトでは、/
パスの使用状況メトリクスが収集されます。監視するパスを設定するには、次の設定を使用します:
run = wandb.init(
settings=wandb.Settings(
x_stats_disk_paths=("/System/Volumes/Data", "/home", "/mnt/data"),
),
)
ディスク使用率パーセント
指定されたパスに対するシステム全体のディスク使用率をパーセントで表します。
W&Bは、このメトリクスに disk.{path}.usagePercent
タグを割り当てます。
ディスク使用量
指定されたパスに対するシステム全体のディスク使用量をギガバイト(GB)で表します。 アクセス可能なパスがサンプリングされ、各パスのディスク使用量(GB)がサンプルに追加されます。
W&Bは、このメトリクスに disk.{path}.usageGB
タグを割り当てます。
ディスクイン
システム全体のディスク読み込み量をメガバイト(MB)で示します。最初のサンプルが取られた時点で初期ディスク読み込みバイト数が記録されます。その後のサンプルは、現在の読み込みバイト数と初期値との差を計算します。
W&Bは、このメトリクスに disk.in
タグを割り当てます。
ディスクアウト
システム全体のディスク書き込み量をメガバイト(MB)で示します。最初のサンプルが取られた時点で初期ディスク書き込みバイト数が記録されます。その後のサンプルは、現在の書き込みバイト数と初期値との差を計算します。
W&Bは、このメトリクスに disk.out
タグを割り当てます。
メモリ
プロセスメモリRSS
プロセスのためのメモリResident Set Size (RSS)をメガバイト(MB)で表します。RSSは、プロセスによって占有されるメモリの一部であり、主記憶(RAM)に保持されるものです。
W&Bは、このメトリクスに proc.memory.rssMB
タグを割り当てます。
プロセスメモリパーセント
プロセスのメモリ使用率を、利用可能なメモリ全体に対するパーセントで示します。
W&Bは、このメトリクスに proc.memory.percent
タグを割り当てます。
メモリパーセント
システム全体のメモリ使用率を、利用可能なメモリ全体に対するパーセントで表します。
W&Bは、このメトリクスに memory_percent
タグを割り当てます。
メモリアベイラブル
システム全体の利用可能なメモリをメガバイト(MB)で示します。
W&Bは、このメトリクスに proc.memory.availableMB
タグを割り当てます。
ネットワーク
ネットワーク送信
ネットワーク上で送信されたバイトの合計を示します。 最初にメトリクスが初期化された際に、送信されたバイトの初期値が記録されます。その後のサンプルでは、現在の送信バイト数と初期値との差を計算します。
W&Bは、このメトリクスに network.sent
タグを割り当てます。
ネットワーク受信
ネットワーク上で受信されたバイトの合計を示します。 ネットワーク送信と同様に、メトリクスが最初に初期化された際に、受信されたバイトの初期値が記録されます。後続のサンプルでは、現在の受信バイト数と初期値との差を計算します。
W&Bは、このメトリクスに network.recv
タグを割り当てます。
NVIDIA GPU
以下に説明するメトリクスに加え、プロセスおよびその子孫が特定のGPUを使用する場合、W&Bは対応するメトリクスを gpu.process.{gpu_index}.{metric_name}
としてキャプチャします。
GPUメモリ利用率
各GPUのGPUメモリ利用率をパーセントで表します。
W&Bは、このメトリクスに gpu.{gpu_index}.memory
タグを割り当てます。
GPUメモリアロケート
各GPUの全利用可能メモリに対するGPUメモリの割り当てをパーセントで示します。
W&Bは、このメトリクスに gpu.{gpu_index}.memoryAllocated
タグを割り当てます。
GPUメモリアロケートバイト
各GPUのGPUメモリ割り当てをバイト単位で指定します。
W&Bは、このメトリクスに gpu.{gpu_index}.memoryAllocatedBytes
タグを割り当てます。
GPU利用率
各GPUのGPU利用率をパーセントで示します。
W&Bは、このメトリクスに gpu.{gpu_index}.gpu
タグを割り当てます。
GPU温度
各GPUの温度を摂氏で示します。
W&Bは、このメトリクスに gpu.{gpu_index}.temp
タグを割り当てます。
GPU電力使用ワット
各GPUの電力使用量をワットで示します。
W&Bは、このメトリクスに gpu.{gpu_index}.powerWatts
タグを割り当てます。
GPU電力使用パーセント
各GPUの電力容量に対する電力使用をパーセントで示します。
W&Bは、このメトリクスに gpu.{gpu_index}.powerPercent
タグを割り当てます。
GPU SMクロックスピード
GPUのストリーミングマルチプロセッサ (SM) のクロックスピードをMHzで表します。このメトリクスは、計算タスクを担当するGPUコア内のプロセッシング速度を示唆しています。
W&Bは、このメトリクスに gpu.{gpu_index}.smClock
タグを割り当てます。
GPUメモリクロックスピード
GPUメモリのクロックスピードをMHzで表します。これは、GPUメモリと処理コア間のデータ転送速度に影響を与えます。
W&Bは、このメトリクスに gpu.{gpu_index}.memoryClock
タグを割り当てます。
GPUグラフィックスクロックスピード
GPUでのグラフィックスレンダリング操作の基本クロックスピードをMHzで示します。このメトリクスは、可視化またはレンダリングタスク中のパフォーマンスを反映することが多いです。
W&Bは、このメトリクスに gpu.{gpu_index}.graphicsClock
タグを割り当てます。
GPU訂正されたメモリエラー
W&Bが自動的にエラーチェックプロトコルを使用して訂正する、GPU上のメモリエラーのカウントを追跡します。これにより、回復可能なハードウェアの問題を示します。
W&Bは、このメトリクスに gpu.{gpu_index}.correctedMemoryErrors
タグを割り当てます。
GPU訂正されていないメモリエラー
W&Bが訂正しない、GPU上のメモリエラーのカウントを追跡します。これにより、処理の信頼性に影響を与える可能性がある回復不可能なエラーを示します。
W&Bは、このメトリクスに gpu.{gpu_index}.unCorrectedMemoryErrors
タグを割り当てます。
GPUエンコーダ利用率
GPUのビデオエンコーダの利用率をパーセントで表し、エンコーディングタスク(例えばビデオレンダリング)が実行されているときの負荷を示します。
W&Bは、このメトリクスに gpu.{gpu_index}.encoderUtilization
タグを割り当てます。
AMD GPU
W&Bは、AMDが提供する rocm-smi
ツールの出力からメトリクスを抽出します(rocm-smi -a --json
)。
ROCm 6.x (最新) および 5.x フォーマットがサポートされています。AMD ROCm ドキュメンテーションでROCmフォーマットの詳細を確認できます。新しいフォーマットにはより詳細が含まれています。
AMD GPU利用率
各AMD GPUデバイスのGPU利用率をパーセントで表します。
W&Bは、このメトリクスに gpu.{gpu_index}.gpu
タグを割り当てます。
AMD GPUメモリアロケート
各AMD GPUデバイスの全利用可能メモリに対するGPUメモリの割り当てをパーセントで示します。
W&Bは、このメトリクスに gpu.{gpu_index}.memoryAllocated
タグを割り当てます。
AMD GPU温度
各AMD GPUデバイスの温度を摂氏で示します。
W&Bは、このメトリクスに gpu.{gpu_index}.temp
タグを割り当てます。
AMD GPU電力使用ワット
各AMD GPUデバイスの電力使用量をワットで示します。
W&Bは、このメトリクスに gpu.{gpu_index}.powerWatts
タグを割り当てます。
AMD GPU電力使用パーセント
各AMD GPUデバイスの電力容量に対する電力使用をパーセントで示します。
W&Bは、このメトリクスに gpu.{gpu_index}.powerPercent
をこのメトリクスに割り当てます。
Apple ARM Mac GPU
Apple GPU利用率
特にARM Mac上のApple GPUデバイスにおけるGPU利用率をパーセントで示します。
W&Bは、このメトリクスに gpu.0.gpu
タグを割り当てます。
Apple GPUメモリアロケート
ARM Mac上のApple GPUデバイスにおける全利用可能メモリに対するGPUメモリの割り当てをパーセントで示します。
W&Bは、このメトリクスに gpu.0.memoryAllocated
タグを割り当てます。
Apple GPU温度
ARM Mac上のApple GPUデバイスの温度を摂氏で示します。
W&Bは、このメトリクスに gpu.0.temp
タグを割り当てます。
Apple GPU電力使用ワット
ARM Mac上のApple GPUデバイスの電力使用量をワットで示します。
W&Bは、このメトリクスに gpu.0.powerWatts
タグを割り当てます。
Apple GPU電力使用パーセント
ARM Mac上のApple GPUデバイスの電力容量に対する電力使用をパーセントで示します。
W&Bは、このメトリクスに gpu.0.powerPercent
タグを割り当てます。
Graphcore IPU
Graphcore IPU(インテリジェンスポロセッシングユニット)は、機械知能タスクのために特別に設計されたユニークなハードウェアアクセラレータです。
IPUデバイスメトリクス
これらのメトリクスは、特定のIPUデバイスのさまざまな統計を表します。各メトリクスには、デバイスID(device_id
)とメトリクスキー(metric_key
)があり、それを識別します。W&Bは、このメトリクスに ipu.{device_id}.{metric_key}
タグを割り当てます。
メトリクスは、Graphcore の gcipuinfo
バイナリと相互作用する専用の gcipuinfo
ライブラリを使用して抽出されます。sample
メソッドは、プロセスID(pid
)に関連する各IPUデバイスのこれらのメトリクスを取得します。時間の経過とともに変化するメトリクスまたはデバイスのメトリクスが最初に取得されたときにのみログに記録され、冗長なデータのログを回避します。
各メトリクスに対して、メトリクスの値をその生の文字列表現から抽出するために parse_metric
メソッドが使用されます。メトリクスは、複数のサンプルを通じて aggregate
メソッドを使用して集計されます。
利用可能なメトリクスとその単位は次のとおりです:
- 平均ボード温度 (
average board temp (C)
): IPUボードの温度を摂氏で示します。 - 平均ダイ温度 (
average die temp (C)
): IPUダイの温度を摂氏で示します。 - クロックスピード (
clock (MHz)
): IPUのクロックスピードをMHzで示します。 - IPU電力 (
ipu power (W)
): IPUの電力消費量をワットで示します。 - IPU利用率 (
ipu utilisation (%)
): IPUの利用率をパーセントで示します。 - IPUセッション利用率 (
ipu utilisation (session) (%)
): 現在のセッションに特化したIPU利用率をパーセントで示します。 - データリンクスピード (
speed (GT/s)
): データ転送速度をGiga-transfers毎秒で示します。
Google クラウド TPU
テンソルプロセッシングユニット(TPU)は、Googleによって開発されたASIC(アプリケーション特定統合回路)で、機械学習のワークロードを加速するために使用されます。
TPUメモリ使用量
各TPUコアあたりの現在の高帯域幅メモリ使用量をバイト単位で示します。
W&Bは、このメトリクスに tpu.{tpu_index}.memoryUsageBytes
タグを割り当てます。
TPUメモリ使用率
各TPUコアあたりの現在の高帯域幅メモリ使用率をパーセントで示します。
W&Bは、このメトリクスに tpu.{tpu_index}.memoryUsageBytes
タグを割り当てます。
TPUデューティサイクル
TPUデバイスごとのTensorCoreデューティサイクルのパーセントです。サンプル期間中、アクセラレータTensorCoreが積極的に処理していた時間の割合を追跡します。大きな値は、より良いTensorCoreの利用率を意味します。
W&Bは、このメトリクスに tpu.{tpu_index}.dutyCycle
タグを割り当てます。
AWS Trainium
AWS Trainiumは、機械学習ワークロードの高速化に焦点を当てた、AWSが提供する特殊なハードウェアプラットフォームです。AWSの neuron-monitor
ツールを使用して、AWS Trainiumメトリクスをキャプチャします。
Trainiumニューロンコア利用率
各ニューロンコアごとの利用率をパーセントで示します。
W&Bは、このメトリクスに trn.{core_index}.neuroncore_utilization
タグを割り当てます。
Trainiumホストメモリ使用量、合計
ホストの総メモリ消費量をバイト単位で示します。
W&Bは、このメトリクスに trn.host_total_memory_usage
タグを割り当てます。
Trainiumニューロンデバイス総メモリ使用量
ニューロンデバイス上の総メモリ使用量をバイト単位で示します。
W&Bは、このメトリクスに trn.neuron_device_total_memory_usage)
タグを割り当てます。
Trainiumホストメモリ使用量の内訳:
以下はホストのメモリ使用量の内訳です:
- アプリケーションメモリ (
trn.host_total_memory_usage.application_memory
): アプリケーションによって使用されるメモリ。 - 定数 (
trn.host_total_memory_usage.constants
): 定数に使用されるメモリ。 - DMAバッファ (
trn.host_total_memory_usage.dma_buffers
): ダイレクトメモリアクセスバッファに使用されるメモリ。 - テンソル (
trn.host_total_memory_usage.tensors
): テンソルに使用されるメモリ。
Trainiumニューロンコアメモリ使用量の内訳
各ニューロンコアのメモリ使用に関する詳細情報:
- 定数 (
trn.{core_index}.neuroncore_memory_usage.constants
) - モデルコード (
trn.{core_index}.neuroncore_memory_usage.model_code
) - モデル共有スクラッチパッド (
trn.{core_index}.neuroncore_memory_usage.model_shared_scratchpad
) - ランタイムメモリ (
trn.{core_index}.neuroncore_memory_usage.runtime_memory
) - テンソル (
trn.{core_index}.neuroncore_memory_usage.tensors
)
OpenMetrics
カスタム正規表現ベースのメトリックフィルタを適用できるOpenMetrics / Prometheus互換データをエクスポートする外部エンドポイントからメトリクスをキャプチャし、ログに記録します。
特定のケースで NVIDIA DCGM-Exporter を使用してGPUクラスターのパフォーマンスを監視する方法の詳細な例については、このレポートを参照してください。
[i18n] feedback_title
[i18n] feedback_question
Glad to hear it! If you have further feedback, please let us know.
Sorry to hear that. Please tell us how we can improve.