エージェント型アプリケーションをトレースする場合は、Agents ページの Signals タブを使用してください。エージェント向け シグナルを参照してください。
- 自動スコアリング: 本番環境に入ってくるすべてのトレースが自動的に処理され、一般的な品質上の問題やエラーについてスコアリングされます。
- インフラストラクチャー: 処理は CoreWeave compute と CoreWeave GPUs によって支えられており、数百万件のトレースにもスケーラブルに対応できます。
- 動作に関する洞察を得る。システムメトリクスを超えて、エージェントがハルシネーションを起こしていないか、会話パターンに従えているか、根拠となる証拠に基づいて応答できているかを把握できます。
- リサーチループを加速する。シグナル によって生成されたスコアと失敗分析を使用して弱点を特定し、モデル改善、データアノテーション、または強化学習の検討に活用できます。
利用可能なシグナル
品質シグナル
| Signal | What it detects |
|---|---|
| Hallucination | 提供された入力コンテキストと矛盾する、捏造された事実や主張 |
| Low quality | 形式が不適切、内容が不十分、または不完全な応答 |
| User frustration | 繰り返しの質問、否定的な感情、苦情など、ユーザーの不満の兆候 |
| Jailbreaking | 安全ガイドラインの回避を試みるプロンプトインジェクションやジェイルブレイク |
| NSFW | 入力または出力に含まれる、露骨、暴力的、またはその他の不適切なコンテンツ |
| Lazy | 簡潔すぎる、支援を拒否する、作業を先送りするなどの、手間をかけていない応答 |
| Forgetful | 会話の前半で示されたコンテキストを使えていないこと、または以前に示された事実や指示を無視していること |
エラーシグナル
| Signal | What it detects |
|---|---|
| Network Error | DNS の障害、タイムアウト、接続のリセット、その他の接続問題 |
| Ratelimited | HTTP 429 応答、クォータの枯渇、上流 API によるスロットリング |
| Request Too Large | サイズやトークンの制限を超えるリクエスト (コンテキストウィンドウ超過など) |
| Bad Request | サーバーがリクエストを拒否したクライアント側のエラー (429 を除く 4xx) |
| Bad Response | リモートサービスから返された無効、想定外、または使用不能な応答 (5xx) |
| Bug | KeyError、TypeError、ロジックエラーなど、アプリケーションコードの不具合 |
シグナルの仕組み
- トレースの選択: Quality シグナルは、正常終了したルートレベルのトレースを評価します。Error シグナルは、失敗したトレースを評価します。Weave は子スパンや中間の Call をスコアリングしません。
- プロンプトの構築: Weave は、トレースのメタデータ、inputs、outputs、例外の詳細 (存在する場合) 、およびオペレーションのソースコードを含むプロンプトを構築します。Weave は、シグナルの分類器プロンプトに、検出対象の特定の問題に関する指示を追加します。
- LLM によるスコアリング: 各シグナルについて、Serverless Inference モデルが二値分類 (その問題がトレースに存在するかどうか) を実行します。検出された問題は、カンマ区切りの string tags として返されます (例:
"Low-quality, User-frustration, Forgetful") 。
Monitors ページからシグナルを追加する
- wandb.ai にアクセスし、Weave プロジェクトを開きます。
- Weave のプロジェクトのサイドバーで、Monitors を選択します。
- Monitors ページの上部に、推奨されるシグナルのカードが横一列に表示されます。各カードには、シグナル名、説明、+ Add signal ボタンが表示されます。
- シグナルを追加するには、シグナルカードの Add signal ボタンを選択します。シグナルはすぐに新しいトレースのスコアリングを開始します。
- 複数のシグナルを一度に追加するには、[X] more signals ボタンを選択します。すると、利用可能なすべてのシグナルがカテゴリごとにグループ化されて表示されるドロワーが開きます。
- 有効にするシグナルを選択し、Add signals を選択します。
アクティブなシグナルを管理する
- Monitors ページで、Manage signals () ボタンを選択します。カテゴリごとに整理された、現在アクティブなすべてのシグナルの一覧を表示するドロワーが開きます。
- シグナルにカーソルを合わせ、Remove signal () ボタンを選択して、そのシグナルを無効にします。
組み込みシグナルを使用する
Traces ページでタグ付きの Call トレースを確認する
@weave.op decorator を使って Ops としてトレースする場合、Weave はシグナル の結果を Call object の feedback として保存します。これらの結果は Traces ページからクエリできます。
Traces ページでは、Signals 列を使って、特定の動作を示すトレースを確認できます。Signals 列には、条件を満たした タグ が表示されます。これらの タグ にカーソルを合わせると、スコアの信頼度と推論を確認できます。
classifier_meta を確認してください。たとえば、次のスクリーンショットでは、Quality-classifiers シグナル が Low-quality に一致し、確信度 (0.9) とこの評価の理由が表示されています。
project ダッシュボードでシグナルを確認する
- プロジェクトのサイドバーで Project を選択します。
- Project ダッシュボードの上部で、Weave タブを選択します。
- Weave ダッシュボードのパネルで、Monitor Scores を確認します。
シグナルにアラートを設定する
組み込みシグナルではカバーできない特定の監視を行うには、カスタムモニターを設定するを参照してください。