> ## Documentation Index
> Fetch the complete documentation index at: https://docs.wandb.ai/llms.txt
> Use this file to discover all available pages before exploring further.
# 組み込みシグナルを使った監視
> W&B は、本番のエージェント向けに組み込みのスコアリング ソリューションを提供します
このページでは、本番トラフィックを監視する以前のアプローチについて説明します。新しい実装では、Weave for Agents の **Signals** を使用してください。[エージェント シグナルを表示する](/ja/weave/guides/tracking/view-agent-signals)を参照してください。
レイテンシ、トークン数、コストといった標準的なシステムメトリクスだけでは、エージェントの動作を十分に捉えられません。個々のトレースを調べれば深い洞察を得られますが、本番環境で生成される数百万件ものトレースに対してそれを行うのは現実的ではありません。
シグナル は、本番のエージェントに対して自動化された動作ベースのスコアリングを提供することで、この課題に対応する高水準のモニタリングソリューションを実現します。
* 自動スコアリング: 本番に入ってくるすべてのトレースが自動的に処理され、一般的な品質上の問題やエラーについてスコアリングされます。
* インフラストラクチャー: 処理は CoreWeave compute と CoreWeave GPUs によって支えられており、数百万件のトレースにもスケーラブルに対応できます。
本番で シグナル を使用すると、次のことが可能になります。
* 動作に関する洞察を得る。システムメトリクスを超えて、エージェントがハルシネーションを起こしていないか、会話パターンに従えているか、根拠となる証拠に基づいて応答できているかを把握できます。
* リサーチループを加速する。シグナル によって生成されたスコアと失敗分析を使用して弱点を特定し、モデル改善、データアノテーション、または強化学習の検討に活用できます。
## 利用可能なシグナル
W\&B Weave には組み込みシグナルを備えたモニターが用意されています。これらは、追加のカスタム設定なしでデフォルトで使用でき、本番トレースに対する一般的な品質上の問題やエラーを評価するプリセットの Scorer です。各組み込みシグナルは、ベンチマーク済みの LLM プロンプト を使用してトレースを分類し、検出された問題を表すカンマ区切りのタグとして結果を保存します。
シグナルはトレースのスコアリングに [Serverless Inference](/ja/inference/) モデルを使用するため、外部のAPIキーは必要ありません。
W\&B Weave には、2 つのグループに分かれた 13 個のプリセットシグナルがあります。
### 品質シグナル
品質シグナルは、成功したルートレベルのトレースについて、出力の品質や安全性に関する問題を評価します。
| Signal | What it detects |
| -------------------- | -------------------------------------------------- |
| **Hallucination** | 提供された入力コンテキストと矛盾する、捏造された事実や主張 |
| **Low quality** | 形式が不適切、内容が不十分、または不完全な応答 |
| **User frustration** | 繰り返しの質問、否定的な感情、苦情など、ユーザーの不満の兆候 |
| **Jailbreaking** | 安全ガイドラインの回避を試みるプロンプトインジェクションやジェイルブレイク |
| **NSFW** | 入力または出力に含まれる、露骨、暴力的、またはその他の不適切なコンテンツ |
| **Lazy** | 簡潔すぎる、支援を拒否する、作業を先送りするなどの、手間をかけていない応答 |
| **Forgetful** | 会話の前半で示されたコンテキストを使えていないこと、または以前に示された事実や指示を無視していること |
### エラーシグナル
エラーシグナルは、失敗したトレースを根本原因ごとに分類し、インフラストラクチャーやアプリケーションの問題を特定して解決しやすくします。
| Signal | What it detects |
| --------------------- | ------------------------------------------------ |
| **Network Error** | DNS の障害、タイムアウト、接続のリセット、その他の接続問題 |
| **Ratelimited** | HTTP `429` 応答、クォータの枯渇、上流 API によるスロットリング |
| **Request Too Large** | サイズやトークンの制限を超えるリクエスト (コンテキストウィンドウ超過など) |
| **Bad Request** | サーバーがリクエストを拒否したクライアント側のエラー (`429` を除く `4xx`) |
| **Bad Response** | リモートサービスから返された無効、想定外、または使用不能な応答 (`5xx`) |
| **Bug** | `KeyError`、`TypeError`、ロジックエラーなど、アプリケーションコードの不具合 |
### シグナルの仕組み
各シグナルは、LLM-as-a-judge アプローチを使用してトレースを分類します。
* **トレースの選択**: Quality シグナルは、正常終了したルートレベルのトレースを評価します。Error シグナルは、失敗したトレースを評価します。Weave は子スパンや中間の Call をスコアリングしません。
* **プロンプトの構築**: Weave は、トレースのメタデータ、inputs、outputs、例外の詳細 (存在する場合) 、およびオペレーションのソースコードを含むプロンプトを構築します。Weave は、シグナルの分類器プロンプトに、検出対象の特定の問題に関する指示を追加します。
* **LLM によるスコアリング**: 各シグナルについて、Serverless Inference モデルが二値分類 (その問題がトレースに存在するかどうか) を実行します。検出された問題は、カンマ区切りの string tags として返されます (例: `"Low-quality, User-frustration, Forgetful"`) 。
同じグループ (Quality または Error) の複数のシグナルが有効になっている場合、Weave はそれらを 1 回の LLM Call にまとめて処理します。モデルは、有効なすべての分類器を 1 回で評価し、それぞれについて結果を返します。
## Monitors ページからシグナルを追加する
シグナルを追加すると、自動スコアリングが有効になり、Weave がそのシグナルの条件に照らして新しい本番トレースを評価するようになります。シグナルを有効にするには、次の手順に従います。
1. [wandb.ai](https://wandb.ai/) にアクセスし、Weave プロジェクトを開きます。
2. Weave のプロジェクトのサイドバーで、**Monitors** を選択します。
3. Monitors が有効になっていない project にシグナルを追加するには、カードをクリックしてチェックボックスをオンにし、**Setup monitors** をクリックします。
4. 既存の Monitor にシグナルを追加するには、**Monitors** ページの右上にある **Browse signals** を選択します。すると **Add signals** ドロワーが開き、利用可能なシグナルがカテゴリ (Quality 分類器 や Error 分類器 など) ごとにグループ化され、各シグナルにチェックボックスが表示されます。個別のシグナルを選択することも、グループに対して **Enable all** を使用することも、**Create custom signal** を選択することもできます。その後、ドロワーの下部で **Add signals** を選択します。
シグナルを追加すると、Weave は受信したトレースを自動的にスコアリングします。
## アクティブなシグナルを管理する
シグナルの実行を開始すると、どのシグナルがアクティブかを確認したり、不要になったシグナルをオフにしたりできます。アクティブなシグナルを表示または削除するには、次の手順に従います。
1. Monitors ページで、**Manage signals** () ボタンを選択します。カテゴリごとに整理された、現在アクティブなすべてのシグナルの一覧を表示するドロワーが開きます。
2. シグナルにカーソルを合わせ、**Remove signal** () ボタンを選択して、そのシグナルを無効にします。
シグナルを削除すると、新しいトレースに対するスコアリングは停止します。Weave はそのシグナルの既存のスコアを保持します。
## 組み込みシグナルを使用する
シグナルが有効になり、トレースの評価が始まると、Weave のさまざまな場所で結果を確認できます。Weave が問題を検出したときにアラートを設定することもできます。以下のセクションでは、シグナルの結果を確認できる場所と、その対処方法について説明します。
### Traces ページでタグ付きの Call トレースを確認する
個々の function を `@weave.op` decorator を使って Ops としてトレースする場合、Weave はシグナル の結果を Call object の feedback として保存します。これらの結果は **Traces** ページからクエリできます。
**Traces** ページでは、**Signals** 列を使って、特定の動作を示すトレースを確認できます。Signals 列には、条件を満たした タグ が表示されます。これらの タグ にカーソルを合わせると、スコアの信頼度と推論を確認できます。
トレース表の toolbar を使用して、特定の シグナル が trigger されたトレースだけが表示されるように、トレース表をフィルターできます。
シグナル が生成した 分類器 Call を選択して **Trace Details view** を確認すると、Traces ページで シグナル の追加詳細を確認できます。Call の **Output** で、推論については `classifier_meta` を確認してください。たとえば、次のスクリーンショットでは、`Quality-classifiers` シグナル が `Low-quality` に一致し、確信度 (0.9) とこの評価の理由が表示されています。
### project ダッシュボードでシグナルを確認する
project レベルでもシグナルを確認できます。
1. プロジェクトのサイドバーで **Project** を選択します。
2. **Project** ダッシュボードの上部で、**Weave** タブを選択します。
3. Weave ダッシュボードのパネルで、**Monitor Scores** を確認します。
**Monitor Scores** project パネルでは、project で発生したシグナルの時系列グラフを確認できます。
### シグナルにアラートを設定する
UI でシグナルを確認するだけでなく、シグナルがトリガーされたときに Weave から通知を受け取ることもできます。エージェントのパフォーマンスが特定のしきい値を下回ったときに、Slack などのツールを通じてチームに通知する自動トリガーを設定できます。
シグナルがトリガーされたときに通知を受け取るには、[オートメーション](/ja/weave/guides/evaluation/automations)を設定します。
***
組み込みシグナルではカバーできない特定の監視を行うには、[カスタムモニターを設定する](/ja/weave/guides/evaluation/custom-monitors)を参照してください。