Leaderboard で評価結果を可視化する
- wandb.ai にアクセスします。
- Weave のサイドバーメニューで Evaluations をクリックします。
- 評価表にフィルターを適用して、比較したいモデル、データセット、または Runs にデータを絞り込みます。
- evaluation table toolbar で Visualize をクリックします。 Weave により、表で現在フィルターされているデータのみを使用した Leaderboard パネルが自動的に作成されます。
- Leaderboard パネルのヘッダーで Configure をクリックして、Edit Leaderboard パネルを開きます。 Edit Leaderboard パネルでは、モデル、データセット、Scorer、メトリクスの表示方法を細かく制御できます。
表示/非表示とカスタム名で Leaderboard の要素を設定する
- 表示/非表示を切り替える チェックまたはチェックを外して、Leaderboard に表示するモデル、データセット、Scorer、メトリクスを選択します。
-
モデル、データセット、Scorer の名前を変更する
表示用のわかりやすい名前を割り当てます (たとえば、モデルの run 名を
GPT-4に変更したり、データセット名をJokesV1に変更したりできます) 。 名前を変更した項目は次のようになります。- Leaderboard にすぐ反映される。
- 引き続きクリック可能で、サイドパネルで元の参照先を開ける。
- Leaderboard ビューが使われているすべての場所に自動的に反映される。
Leaderboardのメトリクスの動作と色分けを設定する
- 値が高いほどよい
- 値が低いほどよい
- 緑は よりよい 値を強調表示します。
- 赤は より悪い 値を強調表示します。
- 「高いほどよい」と「低いほどよい」を切り替えると、色分けは自動的に反転します。
Leaderboard ビューを保存して再利用する
- 選択したモデル、データセット、Scorer、メトリクス。
- 変更した表示ラベル。
- メトリクスの方向設定 (高いほどよいか、低いほどよいか) 。
- 適用したフィルター。
保存済みビューを切り替える
- デフォルトビューに戻って、データセット全体を表示する。
- 保存済みビューを再度開いて、すべてのカスタマイズを復元する。