- 新しい評価 run が追加されると
- また、結果が保存済みのフィルターに一致すると
Leaderboard で評価結果を可視化する
- wandb.ai にアクセスします。
- Weave のサイドバーメニューで Evaluations をクリックします。
- 評価表にフィルターを適用して、比較したいモデル、Datasets、または Runs にデータを絞り込みます。
- evaluation table toolbar で Visualize をクリックします。 Weave により、表で現在フィルターされているデータのみを使用した Leaderboard パネルが自動的に作成されます。
- Leaderboard パネルのヘッダーで Configure をクリックして、Edit Leaderboard パネルを開きます。 Edit Leaderboard パネルでは、モデル、Datasets、Scorer、メトリクスの表示方法を細かく制御できます。
表示/非表示とカスタム名で Leaderboard の要素を設定する
- 表示/非表示を切り替える チェックまたはチェックを外して、Leaderboard に表示するモデル、Datasets、Scorer、メトリクスを選択します。
-
モデル、Datasets、Scorer の名前を変更する
表示用のわかりやすい名前を割り当てます (たとえば、モデルの run 名を
GPT-4に変更したり、データセット名をJokesV1に変更したりできます) 。 名前を変更した項目は次のようになります。- Leaderboard にすぐ反映される
- 引き続きクリック可能で、サイドパネルで元の参照先を開ける
- Leaderboard ビューが使われているすべての場所に自動的に反映される
Leaderboardのメトリクスの動作と色分けを設定する
- 値が高いほどよい、または
- 値が低いほどよい
- 緑は よりよい 値を強調表示します。
- 赤は より悪い 値を強調表示します。
- 「高いほどよい」と「低いほどよい」を切り替えると、色分けは自動的に反転します。
Leaderboardビューを保存して再利用する
- 選択したモデル、Datasets、Scorer、メトリクス
- 変更した表示ラベル名
- メトリクスの方向設定 (高いほどよいか、低いほどよいか)
- 適用したフィルター
保存済みビューを切り替える
- デフォルトビューに戻って、データセット全体を表示する。
- 保存済みビューを再度開いて、すべてのカスタマイズをすぐに復元する。