- ピン留めした run: Workspace 内の任意の project の run をピン留めして、runs リストの先頭に常に表示できます。Workspace では、他の Projects の run を含めて最大 20 件の run をピン留めできます。
- ベースライン run: 比較の基準点としてベースライン run を指定します。ベースライン run は、Workspace内と runs リストの先頭に常に表示されます。Runs table では、summary メトリクスの差分によって各 run がベースラインと比べてどうかが表示されます。折れ線グラフでは、比較しやすいようにベースラインが視覚的に区別されたスタイルで表示されます。

- 新しい実験を本番モデルと比較する。
- Projects をまたいで run を比較する。
- 実験のベースラインを作成し、新しい run のパフォーマンスをそれに対して評価する。
- 実験中に複数の候補モデルをトラッキングする。
- 新しい run が最良の結果を上回っているかどうかを評価する。
run をピン留めする
- Workspace にアクセスします。
- run selector または Runs table で、ピン留めする run を検索します。
- action () メニューをクリックし、Pin run を選択します。

project をまたいで Runs を比較する
- project の Workspace にアクセスします。
- Workspace の run selector または Runs table の上部にある Select runs from another project ボタン (角の丸い小さな四角形に斜めの矢印が付いたアイコン) をクリックします。

- モーダルで、Source project ドロップダウンから project を選択します。
- ソース project の Runs を検索し、比較したい run を見つけます。run 名または一意の ID で検索できます。
- 比較したい各 run の横にあるチェックボックスをオンにし、Pin runs をクリックします。
ベースライン run を管理して比較する

ベースライン run を設定する
- Workspace にアクセスします。
- run selector または Runs table で、ベースラインとして使用する run を検索します。
- action () メニューをクリックし、Set as baseline を選択します。

ベースライン run を変更する
- Workspace にアクセスします。
- run selector または Runs table で、新しいベースラインとして使用する run を検索します。
- action () メニューをクリックし、Replace baseline を選択します。 メニュー項目が無効な場合は、使用可能なピン留めスロットが少なくとも 1 つあることを確認してください。必要に応じて、ピン留めされた run の横にある円形のピンアイコンをクリックして、ピン留めを解除します。
- 新しい run がベースラインになり、以前のベースラインは自動的にピン留めされるため、簡単に見つけられます。必要に応じて、そのピンアイコンをクリックしてピン留めを解除します。
ベースライン指定を解除する
- Workspace にアクセスします。
- run selector または Runs table で、現在のベースライン run を探します。
- action () メニューをクリックし、Remove baseline を選択します。 メニュー項目が無効になっている場合は、少なくとも 1 つのピン留めスロットが空いていることを確認してください。必要に応じて、ピン留めされた run の横にある丸いピン アイコンをクリックして、ピン留めを解除してください。
- 以前のベースラインは自動的にピン留めされるため、簡単に見つけられます。必要に応じて、そのピン アイコンをクリックしてピン留めを解除してください。
run をベースラインと比較する
- プロット上の任意の位置にカーソルを合わせると、ベースライン run とピン留めした run を含む、表示中のすべての run の値を示すツールチップが表示されます。

- ベースライン run の凡例ラベルにカーソルを合わせると、その線が目立つように表示されます。太い破線として表示され、表示中のほかの run の線は彩度を下げて表示されます。

- 別の run の凡例ラベルにカーソルを合わせると、その run の線が目立つように表示され、太い破線で表示されるベースラインと比較できます。表示中のほかの run の線は彩度を下げて表示されます。

summary メトリクスの差分
- 他の run がベースラインより 優れている (方向性としてより良い) 場合、差分は薄い赤の背景に濃い赤のテキストで表示されます。
- 他の run がベースラインより 劣っている (方向性としてより悪い) 場合、差分は薄いティールの背景に濃いティールのテキストで表示されます。
- Runs tableで、そのメトリクスの列見出しにカーソルを合わせます。
- 表示される action () メニューをクリックします。
- Metric directionality を Higher values are best または Lower values are best に設定します。
nanochat-train-base と nanochat-train-mid を、ベースライン run nanochat-train と比較したものです。差分メトリクスは、TOTAL_TRAINING_TIME、TRAIN/DT、TRAIN/GRAD_NORM に表示されています。

Workspace で summary メトリクスの差分を非表示にする
- Workspace で Settings をクリックします。
- 表示されたドロワーで Runs をクリックします。
- Baseline タブで、Show value deltas in the runs table を切り替えます。
- Workspace settings ドロワーを閉じます。
使用例
- 本番モデルをトラッキングする: 新しいモデルがデプロイ前に必要な品質基準を満たしていることを確認します。
- 本番モデルをベースラインとして設定します。
- デプロイ済みのモデルを基準にすべての Experiments を比較し、本番を上回る候補を特定します。
- ハイパーパラメーター実験を比較する: ハイパーパラメーター sweep や手動で行った実験を、既知の最良の設定と比較して評価します。
- 既知の最良の設定をベースラインとして設定します。
- 有望な候補が見つかったらピン留めします。
- 折れ線グラフを使用して、各 run をベースラインと視覚的に比較します。
- より良い設定が見つかるたびに、ベースラインを更新します。
ワークフローの例
-
一連の run によるハイパーパラメーター調整のシナリオをシミュレートする、このサンプルコードを実行します。山かっこ (
<>) で囲まれたプレースホルダーは、ご自身の値に置き換えてください。このコードを実行すると、Workspace に 3 つの run が作成されます。 -
baseline-configをベースライン run に設定します。 -
baseline-configを常に表示しておくためにピン留めします。 - 実験 run をベースラインと比較します。
- Runs table で、各 run の値の横に表示される summary メトリクスの差分を確認し、ベースラインと比較します。
- 折れ線グラフでは、常に表示されるベースラインと 1 つ以上の run のパフォーマンスを比較します。
- 有望な実験をピン留めして、さらに調査します。この例では、50 エポック後には
lr-experiment-0.003が最も高い accuracy (~0.64) と最も低い loss (~0.86) を示します。
制限事項
- グループ化: run selectorまたはRuns tableでrunを表示する際、runが列ごとにグループ化されている場合、ピン留めされたrunおよびベースラインrunは他のrunと見た目で区別されません。
- Reports: W&B Report内のrun setでは、ピン留めされたrunおよびベースラインrunは他のrunと見た目で区別されません。
- Workspace viewのみ: 単一のrunのWorkspaceを表示している場合、ベースラインは表示されません。
- 折れ線グラフのみ: ベースライン比較は折れ線グラフでのみ利用でき、棒グラフやメディアパネルなどの他のパネルではまだ利用できません。