メインコンテンツへスキップ
W&B Weave のAgents ビューでは、シグナル タブに、エージェントの会話に対する タグ と 評価 が表示されます。シグナル は品質や安全性に関する問題を可視化し、問題をフラグ付けしたり、パターンを見つけたり、注意が必要なトレースを強調表示したりするのに役立ちます。シグナル を使用すると、エージェントの応答の品質を自動的にスコアしたり、ユーザーのいら立ちに気づいたり、NSFW コンテンツをフラグ付けしたりできます。

​
Get started

project のシグナルを表示するには、次の手順を実行します。
  1. https://wandb.ai にアクセスし、project を選択します。
  2. サイドバー メニューで Agents を選択し、project に保存されているすべてのエージェントとの会話を表示します。
  3. タブバーで シグナル を選択します。
エージェントのスコアが付与されたターンの一覧を表示する シグナル タブ。

​
主要な用語

  • Turn: ユーザーとエージェントの1往復のやり取りです。
  • Rating: 一致したスパンに割り当てられる、0.0〜1.0の数値スコアです。
  • Tags: 一致したスパンに割り当てられるラベルです。たとえば、“user-frustration” や “nsfw” などがあります。

​
シグナルの表

シグナル タブには、エージェントのスコアリング済みターンの表が表示されます。各行は、いずれかのシグナル モニターの出力を表します。次の列がデフォルトで表示されます。
列説明
タイプスコアリング対象の会話の部分です。サポートされるのは turn のみです。
Scorerこのスコアを生成したシグナルの名前です。
最後のメッセージスコアリングされた ターン 内の最後のメッセージのプレビューです。ロールはその下に表示されます。
エージェントスコアリングされた ターン に関連付けられたエージェントです。
スコア0.0 から 1.0 の数値評価、または一致した場合はタグです。1 が良く 0 が悪いことを示す一貫した評価を使用することを推奨しますが、Scorer では定義した任意の尺度を使用できます。
傾向このシグナルの経時的な推移を示すインライン チャートを表示します。評価の場合は平均値、タグの場合は件数が表示されます。
時刻シグナルがスコアリングされた日時です。
時間範囲セレクターと Filter バーを使用して、Scorer、エージェント、スコア範囲、または期間で結果を絞り込みます。Score volume タイムラインには、Weave が評価またはタグ付けしたシグナルの件数が表示されます。これは表に表示されている行を反映しており、タイムライン上でドラッグしてフィルターできます。

​
新しいシグナルを作成する

エージェントのターンのスコアリングを開始するには、1 つ以上のシグナルを作成してください。+ New signal を選択して、Create signals ドロワーを開きます。 ドロワーでは、利用可能なシグナルは次の 2 つのカテゴリに分かれています。
  • タグ: user-frustration や nsfw など、一致するスパンにラベルを自動的に付与します。タグ を使用すると、スパンを分類したり、望ましくない動作にフラグを付けたりできます。signals UI には少なくとも 1 つのタグに一致したスパンの行だけが表示されるため、出力が表示されなくても、タグ シグナルが正常に実行されている場合があります。
  • 評価: 一致するスパンに 0 から 1 のスコアを割り当てます。評価 を使用してエージェントのパフォーマンスを評価し、時間の経過に伴う改善を測定します。

​
プリセットシグナル

各カテゴリには、直接選択できるプリセットテンプレートが用意されています。両方のカテゴリから任意の組み合わせでプリセットを選択し、Create [N] signals を選択すると、それらをすべてデフォルト設定でまとめて作成できます。

​
タグプリセット

テンプレート検出する内容
ユーザーの不満ユーザーが不満、怒り、混乱、不満足の兆候を示している。
悪意のある意図 (ジェイルブレイク) ユーザーがシステムのジェイルブレイク、アクセス制限されたコンテンツの抽出、プロンプトインジェクションの実行、ロールプレイの悪用、またはその他の方法でエージェントにガードレールを無視させようとしている。
NSFWユーザー入力またはエージェントの出力に、露骨な性的コンテンツ、凄惨な暴力表現、または職場環境に不適切なその他の内容が含まれている。
低品質な応答事実と異なる、話題から外れている、はぐらかしている、同じことを繰り返している、拒否する際に正当な理由を欠いている、またはその他の形でユーザーのリクエストに適切に対応できていないエージェントの出力。

​
評価プリセット

Template評価内容
User Satisfactionユーザーが満足しているか (肯定的なフィードバック、その後のやり取りの継続、タスクの完了) 、または不満を持っているか (苦情、繰り返しの言い換え、離脱) を評価します。
User Good Intentユーザーの意図が無害かつ正当なものか、それとも jailbreak の試み、有害な Request、または プロンプトインジェクション であるかを評価します。
Safe-for-Work会話の内容が一般的な職場環境に適しているか、それとも露骨、暴力的、またはその他の職場に不適切な内容かを評価します。
Response Qualityエージェントの Response が正確で、過不足がなく、ユーザーの Request に直接応えているかを評価します。

​
カスタムシグナル

Create signals ドロワーでは、タグ と 評価 の各カテゴリの下部に、カスタムシグナルを作成するオプションがあります。 独自のシグナルを定義するには、Custom Tags または Custom Rating を選択します。すると、次のフィールドを含む設定画面が開きます。
  • Prompt template: 必要に応じて、1 つ以上のプリセットテンプレートをベースに Scorer を設定できます。テンプレートを選択すると、Scorer prompt に内容が自動入力されます。複数のテンプレートを組み合わせることも、プロンプトを最初から作成することもできます。
  • Scorer prompt: スコアリング時に Inference モデルへ送信されるプロンプトです。Weave は、{input_messages}、{output_messages}、{system_instructions}、{agent_name} などのテンプレート変数を、スコアリング時に解決します。
  • Scorer name: このシグナルの表示名です。
  • Inference model: スコアリングに使用する LLM です。デフォルトは Serverless Inference です。CoreWeave Serverless Inference を使用すると、W&B アカウントのクレジットが消費されます。
  • Advanced: 展開して追加オプションを設定します。
    • Only score turns matching: 1 つ以上のフィルターを追加して、シグナルがスコアリングするターンを絞り込めます。たとえば、エージェント、operation、tool、またはモデルで条件を指定できます。空のままにすると、すべてのエージェントターンがスコアリングされます。Weave は複数のフィルターを AND ロジックで結合します。
    • Sample rate: トラフィックの多いエージェントでは、サンプルレートを下げることで、すべてのターンではなく条件に一致したターンの一部のみをスコアリングし、コストを削減できます。
保存するには、Create signal を選択します。

​
シグナルの管理と編集

少なくとも 1 つのシグナルを作成している場合は、ツールバーのアクティブなシグナル ボタン (1 active signals のように、有効なシグナル数が表示されます) を選択すると、project で有効なすべてのシグナルを一覧表示するドロワーが開きます。ここから、シグナルのオン/オフを切り替えたり、削除したり、各シグナルを編集したりできます。エディタには、カスタム シグナルと同じ設定項目が表示されます。

​
シグナルのトラブルシューティング

シグナルのアクティビティは、プロジェクトのサイドバーにある Traces に表示されます。想定したシグナルの一致が表示されない場合は、Traces 表を使ってデバッグしてください。たとえば、Scorer 名や、エラーが発生していないか Status 列を確認してください。Scorer の実行エラーが発生すると、Status に赤いインジケーターが表示され、エラーの詳細も確認できます。