シグナルを使ってエージェントをモニタリングする

W&B Weave のAgents ビューでは、シグナル タブに、エージェントの会話に対する タグ と 評価 が表示されます。シグナル は品質や安全性に関する問題を可視化し、問題をフラグ付けしたり、パターンを見つけたり、注意が必要なトレースを強調表示したりするのに役立ちます。シグナル を使用すると、エージェントの応答の品質を自動的にスコアしたり、ユーザーのいら立ちに気づいたり、NSFW コンテンツをフラグ付けしたりできます。 LLM judge ではなく、ご自身でホストする HTTP エンドポイントを使用してターンをスコアリングする方法については、リモート Scorer を使用してエージェントのターンをスコアリングするを参照してください。 project のシグナルを表示するには、次の手順を実行します。

1. https://wandb.ai にアクセスし、project を選択します。
2. サイドバー メニューで Agents を選択し、project に保存されているすべてのエージェントとの会話を表示します。
3. タブバーで シグナル を選択します。

• Turn: ユーザーとエージェントの1往復のやり取りです。
• Rating: 一致したスパンに割り当てられる、0.0〜1.0の数値スコアです。
• Tags: 一致したスパンに割り当てられるラベルです。たとえば、“user-frustration” や “nsfw” などがあります。

シグナル タブには、エージェントのスコアリング済みターンの表が表示されます。各行は、いずれかのシグナル モニターの出力を表します。次の列がデフォルトで表示されます。 時間範囲セレクターと Filter バーを使用して、Scorer、エージェント、スコア範囲、または期間で結果を絞り込みます。Score volume タイムラインには、Weave が評価またはタグ付けしたシグナルの件数が表示されます。これは表に表示されている行を反映しており、タイムライン上でドラッグしてフィルターできます。

​

Weave によるスコアの正規化の仕組み

Weave はシグナルの結果を保存する前に、Scorer が返したタグ、評価、理由を正規化します。

• タグは小文字に変換されます。0-9、a-z、A-Z、スペース、および . , ; - & ! @ # $ % ? 以外の文字は削除されます。連続する空白、アンダースコア、ダッシュは 1 つのダッシュにまとめられます。
• 1 つの結果につき保持されるタグは最大 10 個です。重複するタグは破棄されます。
• 理由からも同じ文字が削除され、256 文字に切り詰められます。
• 36 文字を超えるタグを含む結果、または複数の評価を含む結果は全体が拒否され、Weave はその結果のフィードバックを書き込みません。

これらのルールは、結果を生成したのが LLM judge か リモート Scorer かにかかわらず、すべてのシグナルに適用されます。 エージェントのターンのスコアリングを開始するには、1 つ以上のシグナルを作成してください。+ New signal を選択して、Create signals ドロワーを開きます。 ドロワーでは、利用可能なシグナルは次の 2 つのカテゴリに分かれています。

• タグ: user-frustration や nsfw など、一致するスパンにラベルを自動的に付与します。タグ を使用すると、スパンを分類したり、望ましくない動作にフラグを付けたりできます。signals UI には少なくとも 1 つのタグに一致したスパンの行だけが表示されるため、出力が表示されなくても、タグ シグナルが正常に実行されている場合があります。
• 評価: 一致するスパンに 0 から 1 のスコアを割り当てます。評価 を使用してエージェントのパフォーマンスを評価し、時間の経過に伴う改善を測定します。

各カテゴリには、直接選択できるプリセットテンプレートが用意されています。両方のカテゴリから任意の組み合わせでプリセットを選択し、Create [N] signals を選択すると、それらをすべてデフォルト設定でまとめて作成できます。

​

カスタムシグナル

空の シグナル タブからカスタムタグシグナルを作成する方法については、カスタムシグナルを作成するを参照してください。 少なくとも 1 つのシグナルを作成している場合は、ツールバーのアクティブなシグナル ボタン (1 active signals のように、有効なシグナル数が表示されます) を選択すると、project で有効なすべてのシグナルを一覧表示するドロワーが開きます。ここから、シグナルのオン/オフを切り替えたり、削除したり、各シグナルを編集したりできます。エディタには、カスタム シグナルと同じ設定項目が表示されます。 シグナルのアクティビティは、プロジェクトのサイドバーにある Traces に表示されます。想定したシグナルの一致が表示されない場合は、Traces 表を使ってデバッグしてください。たとえば、Scorer 名や、エラーが発生していないか Status 列を確認してください。Scorer の実行エラーが発生すると、Status に赤いインジケーターが表示され、エラーの詳細も確認できます。