アノテーションキュー は、ドメインエキスパート向けの review interface を提供します。項目を 1 つずつレビューし、表示されたコンテキストを確認して、事前定義されたフィールドを使って structured feedback を送信します。
レビューを完了するために、基盤となるモデルやトレースシステムを理解している必要はありません。これにより、外部のエキスパートでも、プロジェクト全体を詳しく把握していなくても、データのレビューのみに集中できます。
アノテーターの作業は、LLM のレスポンスの正確さを確認することです。フィードバックは、データに対するアノテーションとして保存されます。
アノテーションキュー を確認するには:
- チームから提供されたキューのリンクを使用して、共有 アノテーションキュー を開きます。
- 各項目を確認します。キュー内の項目は、いつでも前後に移動できます。
- 提供されたアノテーション項目を使用して、アノテーションを送信します。
Weave は、項目を送信すると進捗を自動的に保存します。作業を一時停止して後で再開する必要がある場合は、最初の未完了の項目から自動的に確認が再開されます。すべての項目の確認が完了すると、Annotation Queue 表に作業完了が反映されます。
各項目について、review interface には 2 つのペインが表示されます。
- 選択した入力コンテキスト (プロンプト、ドキュメント、画像など) と、それに対応するモデルのレスポンスまたは判定を表示する トレース ペイン。
- アノテーション フィールドを含む アノテーション エントリフォームが表示される項目ペイン。
キューに対して提供されている指示に従って各 アノテーション フィールドに入力し、送信して次へ をクリックしてこの項目を保存し、次の項目に進みます。
トレース ペインのヘッダーでは、Trace ID の接尾辞 (たとえば “b3ea”) をクリックすると、その call の完全な トレース 詳細を表示するパネルが開きます。このパネルでは、トレース を確認したり、提供された アノテーション を表示または比較したりできます。
他のユーザーがすでにレビューした項目にフィードバックを送信すると、そのフィードバックは元の アノテーター のフィードバックに加えて保存されます。
