> ## Documentation Index
> Fetch the complete documentation index at: https://docs.wandb.ai/llms.txt
> Use this file to discover all available pages before exploring further.
# Compare evaluations
> 2 つ以上の評価を視覚的に比較して、Runs 全体でのリグレッション、改善、スコアリングの差異を把握します
W\&B Weave の **Compare evaluations** ビューでは、ログされた 2 つ以上の評価を並べて確認できます。これを使用すると、プロンプト、モデル、または scorer を変更したときに Runs 間でメトリクスがどのように変化するかを確認でき、結果から結論を出す前に、データセットや scorer の不整合を見つけることができます。
このガイドは、Weave UI でログされた評価を比較したい Weave ユーザー向けです。Compare evaluations ビューを開く方法、サマリーチャートと結果テーブルに表示される内容、さらにベースラインの設定、評価の並べ替え、比較対象からの評価の削除など、比較を調整するために実行できる操作について説明します。
## Compare evaluations ビューを開く
Compare evaluations ビューを開くには、次の手順に従います。
1. Weave のプロジェクトのサイドバーで、**Evals** を選択します。
2. 評価の表で、比較する 2 つ以上の評価のチェックボックスを選択します。
3. 評価の表のツールバーで、**Compare** を選択します。
**Compare evaluations** ビューが開き、選択した各評価がページ上部の*比較バー*に token として表示されます。デフォルトでは、左端の評価がベースラインとなり、他の各評価はそれと比較されます。
## 比較結果を確認する
Compare evaluations view には 2 つのタブがあります。
* **Summary**: 比較対象の各評価について、各メトリクスの集計チャートが表示され、その下にプロパティとメトリクスの表が続きます。
* **Dataset results**: サンプルごとの結果をまとめた表で出力を行単位で比較できるほか、2 つの評価を比較する場合は差異を見つけるための散布図も表示されます。
### Summary タブ
**Summary** タブはデフォルトで開きます。ここには 2 つの領域があります。
* **Charts**: 比較対象の評価全体にわたるすべてのメトリクス値をプロットしたレーダーチャートと、それに続くメトリクスごとのチャート (数値メトリクスは棒グラフ、pass/fail メトリクスはカバレッジチャート) 。
* **Properties and metrics table**: チャートの下にある表で、各評価の設定と集計スコアを一覧表示します。
Properties and metrics table には、比較対象の各評価について次の情報が表示されます。
* **Evaluation**: 評価 ID。
* **Model**: その評価でスコア付けされたモデルのバージョン。
* **Dataset**: 評価の実行に使用したデータセットのバージョン。
* **Properties**: 評価に記録された追加のプロパティ。
* **Metrics**: 評価の Scorer によって生成された各メトリクスの集計値。
数値メトリクスでは、ベースラインとの差分が値の横に色付きのバッジで表示されます。色は、その変化がそのメトリクスにとって好ましい方向か不利な方向かを示します。デフォルトでは、値が高いほど良いと見なされるため、緑のバッジは増加、赤のバッジは減少を表します。値が低いほど良いように設定されたメトリクスでは、色は逆になります。
比較対象のすべての評価で同一のプロパティとメトリクスを非表示にするには、**Diff only** をオンにします。
Weave は、比較の解釈に影響する可能性がある差異を検出すると、表内にインライン警告を表示します。
* **Dataset inconsistency detected**: 比較対象の評価間でデータセットが異なっています。集計メトリクスは直接比較できない可能性があり、Dataset results タブは各データセットの共通部分に含まれる examples に限定されます。
* **Scoring inconsistency detected**: 比較対象の評価間で scorer が異なっています。評価ごとに scoring ロジックが異なるため、結果を比較する際は注意してください。
Weave は、サマリーを見やすく保つために、比較対象のすべての評価で共通していない score フィールドも非表示にします。フィールドが非表示になっている場合は、ビュー上部の情報バナーにその数が表示されます。表示するフィールドを選択するには、**Manage fields** を選択します。
### Dataset results タブ
選択した評価間で個々のデータセット例を比較するには、**Dataset results** を選択します。各行は 1 つのデータセット例に対応し、データセットの入力と各評価の出力、および Scorer のメトリクスが並べて表示されるため、特定の例でどこに差異があるかを確認できます。行を選択すると、左右に並べた詳細ビューが開きます。
比較する評価がちょうど 2 つの場合、このタブには表の上に 2 つの散布図が表示されます。各プロットでは、各点が 1 つのデータセット例を表し、2 つの評価それぞれにおけるメトリクス値に基づいて配置されるため、評価間で差異のある例が目立ちます。点の領域を選択 (ブラッシング) して、表に表示する例をフィルターできます。また、各プロットの **Dimension** メニューで、表示するメトリクスを選択できます。
Dataset results タブでは、比較対象の評価が同じデータセット行を共有している必要があります。データセットに共通の行がない場合、結果の表は表示されません。
## Compare evaluations view をカスタマイズする
Compare evaluations view では、評価の並び順や、比較に含める評価を調整できます。以下のセクションでは、使用できる操作について説明します。
### ベースラインを設定する
デフォルトでは、比較バーの左端にある評価がベースラインとなり、ほかのすべての評価はそれと比較されます。すべての比較の基準として特定の評価を使いたい場合は、その評価をベースラインに指定できます。
評価をベースラインとして設定するには、次の手順を実行します。
1. 比較バーで、ベースラインに設定したい評価にポインターを合わせます。
2. ID の右側にある **action ()** メニューをクリックします。
3. リストで **Make baseline** を選択します。UI が更新され、ベースラインの評価が比較バーの左端に表示され、ID の横に `Baseline` が表示されます。
### 比較順序を変更する
比較バーで評価をドラッグして並べ替えます。これにより、比較表内の対応する列の順序も並べ替えられます。
比較順序を変更するには、次の手順を実行します。
1. 比較バーで、並べ替えたい ID にポインタを合わせます。
2. ID の左側にある 6 つのドットをクリックしたまま、必要に応じて左右にドラッグします。
3. ID を目的の位置に配置します。比較データが更新され、新しい比較順で表示されます。
### 比較から削除
このオプションは、3 つ以上の評価を比較している場合にのみ利用できます。
比較から評価を削除するには、次の手順に従います。
1. 比較バーで、比較から削除する評価を見つけます。
2. ID の右側にある **action ()** メニューをクリックします。
3. 一覧で **Remove from comparison** を選択します。UI が更新され、削除した評価を含まない表が表示されます。