> ## Documentation Index
> Fetch the complete documentation index at: https://docs.wandb.ai/llms.txt
> Use this file to discover all available pages before exploring further.

# シグナルを使ってエージェントをモニタリングする

> W&B Weave のシグナルを使用してエージェントのターンをスコアリングし、タグを適用して、本番環境での品質と安全性の問題を可視化します。

W\&B Weave の[Agents ビュー](/ja/weave/guides/tracking/view-agent-activity)では、シグナル タブに、エージェントの会話に対する タグ と 評価 が表示されます。シグナル は品質や安全性に関する問題を可視化し、問題をフラグ付けしたり、パターンを見つけたり、注意が必要なトレースを強調表示したりするのに役立ちます。シグナル を使用すると、エージェントの応答の品質を自動的にスコアしたり、ユーザーのいら立ちに気づいたり、NSFW コンテンツをフラグ付けしたりできます。

<div id="get-started">
  ## Get started
</div>

project のシグナルを表示するには、次の手順を実行します。

1. [https://wandb.ai](https://wandb.ai) にアクセスし、project を選択します。
2. サイドバー メニューで **Agents** を選択し、project に保存されているすべてのエージェントとの会話を表示します。
3. タブバーで **シグナル** を選択します。

<img src="https://mintcdn.com/wb-21fd5541/e9uGjdE5LLGr1nTZ/weave/guides/tracking/imgs/agent-view-signals.png?fit=max&auto=format&n=e9uGjdE5LLGr1nTZ&q=85&s=f1f43bff22b5b05f95e88f6539eb7662" alt="エージェントのスコアが付与されたターンの一覧を表示する シグナル タブ。" width="2065" height="603" data-path="weave/guides/tracking/imgs/agent-view-signals.png" />

<div id="key-terms">
  ## 主要な用語
</div>

* **Turn**: ユーザーとエージェントの1往復のやり取りです。
* **Rating**: 一致したスパンに割り当てられる、0.0〜1.0の数値スコアです。
* **Tags**: 一致したスパンに割り当てられるラベルです。たとえば、"user-frustration" や "nsfw" などがあります。

<div id="signals-table">
  ## シグナルの表
</div>

シグナル タブには、エージェントのスコアリング済みターンの表が表示されます。各行は、いずれかのシグナル モニターの出力を表します。次の列がデフォルトで表示されます。

| 列            | 説明                                                                                              |
| ------------ | ----------------------------------------------------------------------------------------------- |
| **タイプ**      | スコアリング対象の会話の部分です。サポートされるのは `turn` のみです。                                                         |
| **Scorer**   | このスコアを生成したシグナルの名前です。                                                                            |
| **最後のメッセージ** | スコアリングされた ターン 内の最後のメッセージのプレビューです。ロールはその下に表示されます。                                                |
| **エージェント**   | スコアリングされた ターン に関連付けられたエージェントです。                                                                 |
| **スコア**      | 0.0 から 1.0 の数値評価、または一致した場合はタグです。1 が良く 0 が悪いことを示す一貫した評価を使用することを推奨しますが、Scorer では定義した任意の尺度を使用できます。 |
| **傾向**       | このシグナルの経時的な推移を示すインライン チャートを表示します。評価の場合は平均値、タグの場合は件数が表示されます。                                     |
| **時刻**       | シグナルがスコアリングされた日時です。                                                                             |

時間範囲セレクターと **Filter** バーを使用して、Scorer、エージェント、スコア範囲、または期間で結果を絞り込みます。**Score volume** タイムラインには、Weave が評価またはタグ付けしたシグナルの件数が表示されます。これは表に表示されている行を反映しており、タイムライン上でドラッグしてフィルターできます。

<div id="create-a-new-signal">
  ## 新しいシグナルを作成する
</div>

エージェントのターンのスコアリングを開始するには、1 つ以上のシグナルを作成してください。**+ New signal** を選択して、**Create signals** ドロワーを開きます。

ドロワーでは、利用可能なシグナルは次の 2 つのカテゴリに分かれています。

* **タグ**: `user-frustration` や `nsfw` など、一致するスパンにラベルを自動的に付与します。タグ を使用すると、スパンを分類したり、望ましくない動作にフラグを付けたりできます。signals UI には少なくとも 1 つのタグに一致したスパンの行だけが表示されるため、出力が表示されなくても、タグ シグナルが正常に実行されている場合があります。
* **評価**: 一致するスパンに 0 から 1 のスコアを割り当てます。評価 を使用してエージェントのパフォーマンスを評価し、時間の経過に伴う改善を測定します。

<div id="preset-signals">
  ### プリセットシグナル
</div>

各カテゴリには、直接選択できるプリセットテンプレートが用意されています。両方のカテゴリから任意の組み合わせでプリセットを選択し、**Create \[*N*] signals** を選択すると、それらをすべてデフォルト設定でまとめて作成できます。

<div id="tags-presets">
  #### タグプリセット
</div>

| テンプレート                   | 検出する内容                                                                                               |
| ------------------------ | ---------------------------------------------------------------------------------------------------- |
| **ユーザーの不満**              | ユーザーが不満、怒り、混乱、不満足の兆候を示している。                                                                          |
| **悪意のある意図 (ジェイルブレイク) **  | ユーザーがシステムのジェイルブレイク、アクセス制限されたコンテンツの抽出、プロンプトインジェクションの実行、ロールプレイの悪用、またはその他の方法でエージェントにガードレールを無視させようとしている。 |
| **NSFW**                 | ユーザー入力またはエージェントの出力に、露骨な性的コンテンツ、凄惨な暴力表現、または職場環境に不適切なその他の内容が含まれている。                                    |
| **低品質な応答**               | 事実と異なる、話題から外れている、はぐらかしている、同じことを繰り返している、拒否する際に正当な理由を欠いている、またはその他の形でユーザーのリクエストに適切に対応できていないエージェントの出力。   |

<div id="ratings-presets">
  #### 評価プリセット
</div>

| Template              | 評価内容                                                                                  |
| --------------------- | ------------------------------------------------------------------------------------- |
| **User Satisfaction** | ユーザーが満足しているか (肯定的なフィードバック、その後のやり取りの継続、タスクの完了) 、または不満を持っているか (苦情、繰り返しの言い換え、離脱) を評価します。 |
| **User Good Intent**  | ユーザーの意図が無害かつ正当なものか、それとも jailbreak の試み、有害な Request、または プロンプトインジェクション であるかを評価します。       |
| **Safe-for-Work**     | 会話の内容が一般的な職場環境に適しているか、それとも露骨、暴力的、またはその他の職場に不適切な内容かを評価します。                             |
| **Response Quality**  | エージェントの Response が正確で、過不足がなく、ユーザーの Request に直接応えているかを評価します。                           |

<div id="custom-signals">
  ### カスタムシグナル
</div>

**Create signals** ドロワーでは、**タグ** と **評価** の各カテゴリの下部に、カスタムシグナルを作成するオプションがあります。

独自のシグナルを定義するには、**Custom Tags** または **Custom Rating** を選択します。すると、次のフィールドを含む設定画面が開きます。

* **Prompt template**: 必要に応じて、1 つ以上のプリセットテンプレートをベースに Scorer を設定できます。テンプレートを選択すると、**Scorer prompt** に内容が自動入力されます。複数のテンプレートを組み合わせることも、プロンプトを最初から作成することもできます。
* **Scorer prompt**: スコアリング時に Inference モデルへ送信されるプロンプトです。Weave は、`{input_messages}`、`{output_messages}`、`{system_instructions}`、`{agent_name}` などのテンプレート変数を、スコアリング時に解決します。
* **Scorer name**: このシグナルの表示名です。
* **Inference model**: スコアリングに使用する LLM です。デフォルトは [Serverless Inference](/ja/inference/) です。CoreWeave Serverless Inference を使用すると、W\&B アカウントのクレジットが消費されます。
* **Advanced**: 展開して追加オプションを設定します。
  * **Only score turns matching**: 1 つ以上のフィルターを追加して、シグナルがスコアリングするターンを絞り込めます。たとえば、エージェント、operation、tool、またはモデルで条件を指定できます。空のままにすると、すべてのエージェントターンがスコアリングされます。Weave は複数のフィルターを `AND` ロジックで結合します。
  * **Sample rate**: トラフィックの多いエージェントでは、サンプルレートを下げることで、すべてのターンではなく条件に一致したターンの一部のみをスコアリングし、コストを削減できます。

保存するには、**Create signal** を選択します。

<div id="manage-and-edit-signals">
  ## シグナルの管理と編集
</div>

少なくとも 1 つのシグナルを作成している場合は、ツールバーのアクティブなシグナル ボタン (**1 active signals** のように、有効なシグナル数が表示されます) を選択すると、project で有効なすべてのシグナルを一覧表示するドロワーが開きます。ここから、シグナルのオン/オフを切り替えたり、削除したり、各シグナルを編集したりできます。エディタには、カスタム シグナルと同じ設定項目が表示されます。

<div id="troubleshoot-signals">
  ## シグナルのトラブルシューティング
</div>

シグナルのアクティビティは、プロジェクトのサイドバーにある **Traces** に表示されます。想定したシグナルの一致が表示されない場合は、**Traces** 表を使ってデバッグしてください。たとえば、Scorer 名や、エラーが発生していないか **Status** 列を確認してください。Scorer の実行エラーが発生すると、**Status** に赤いインジケーターが表示され、エラーの詳細も確認できます。