> ## Documentation Index
> Fetch the complete documentation index at: https://docs.wandb.ai/llms.txt
> Use this file to discover all available pages before exploring further.
# アノテーションキュー 内の項目をレビューする
> 簡素化された review interface を使用してトレース項目を評価し、structured feedback を送信します。
アノテーションキュー は、ドメインエキスパート向けの review interface を提供します。項目を 1 つずつレビューし、表示されたコンテキストを確認して、事前定義されたフィールドを使って structured feedback を送信します。キューを完了することで、チームが LLM の出力を評価して改善するために活用できる、専門家としての判断を提供できます。
レビューを完了するために、基盤となるモデルやトレースシステムを理解している必要はありません。これにより、外部のエキスパートでも、より広い project のコンテキストを把握していなくても、データをレビューできます。
## Annotation workflow
このセクションでは、共有されたキュー内の項目を確認する一連のプロセスを説明します。
アノテーターの作業は、LLM のレスポンスの正確さを確認することです。Weave は、フィードバックをデータに対するアノテーションとして保存します。
アノテーションキューを確認するには:
1. チームから提供されたキューのリンクを使用して、共有アノテーションキューを開きます。
2. 各項目を確認します。キュー内の項目は、いつでも前後に移動できます。
3. 提供されたアノテーション フィールドを使用して、アノテーションを送信します。
Weave は、項目を送信すると進捗を自動的に保存します。作業を一時停止して後で再開する必要がある場合は、最初の未完了の項目から自動的に確認が再開されます。すべての項目の確認が完了すると、アノテーションキュー 表に作業完了が反映されます。
### キュー内の項目をレビューする
以下では、review interface と、キュー内の単一項目に対して アノテーション を送信する方法について説明します。
各項目について、review interface には 2 つのペインが表示されます。
* 選択した入力コンテキスト (プロンプト、ドキュメント、画像など) と、それに対応するモデルのレスポンスまたは判定を表示する トレース ペイン。
* アノテーション フィールドを含む アノテーション エントリフォームが表示される項目ペイン。
キューに対して提供されている指示に従って各 アノテーション フィールドに入力し、**送信して次へ** をクリックしてこの項目を保存し、次の項目に進みます。
トレース ペインのヘッダーでは、trace ID の接尾辞 (たとえば "b3ea") をクリックすると、その call の完全な トレース 詳細を表示するパネルが開きます。このパネルでは、トレース を確認したり、提供された アノテーション を表示または比較したりできます。
いずれかの アノテーター がすでにキュー内の項目をレビューしている場合、review interface の両方のペインヘッダーに **Has annotation** と **Response submitted** のインジケーターが表示されます。
他のユーザーがすでにレビューした項目に対しても、引き続き アノテーション を提供できます。この場合、アノテーション の送信ボタンには引き続き **Edit annotation** と表示されますが、送信するとあなたのレスポンスを含む新しい アノテーション エントリが作成されます。
他のユーザーがすでにレビューした項目にフィードバックを送信すると、そのフィードバックは元の アノテーター のフィードバックに加えて保存されます。