アノテーションキュー は、ドメインエキスパート向けの review interface を提供します。項目を 1 つずつレビューし、表示されたコンテキストを確認して、事前定義されたフィールドを使って structured feedback を送信します。キューを完了することで、チームが LLM の出力を評価して改善するために活用できる、専門家としての判断を提供できます。
レビューを完了するために、基盤となるモデルやトレースシステムを理解している必要はありません。これにより、外部のエキスパートでも、より広い project のコンテキストを把握していなくても、データをレビューできます。
このセクションでは、共有されたキュー内の項目を確認する一連のプロセスを説明します。
アノテーターの作業は、LLM のレスポンスの正確さを確認することです。Weave は、フィードバックをデータに対するアノテーションとして保存します。
アノテーションキューを確認するには:
- チームから提供されたキューのリンクを使用して、共有アノテーションキューを開きます。
- 各項目を確認します。キュー内の項目は、いつでも前後に移動できます。
- 提供されたアノテーション フィールドを使用して、アノテーションを送信します。
Weave は、項目を送信すると進捗を自動的に保存します。作業を一時停止して後で再開する必要がある場合は、最初の未完了の項目から自動的に確認が再開されます。すべての項目の確認が完了すると、アノテーションキュー 表に作業完了が反映されます。
以下では、review interface と、キュー内の単一項目に対して アノテーション を送信する方法について説明します。
各項目について、review interface には 2 つのペインが表示されます。
- 選択した入力コンテキスト (プロンプト、ドキュメント、画像など) と、それに対応するモデルのレスポンスまたは判定を表示する トレース ペイン。
- アノテーション フィールドを含む アノテーション エントリフォームが表示される項目ペイン。
キューに対して提供されている指示に従って各 アノテーション フィールドに入力し、送信して次へ をクリックしてこの項目を保存し、次の項目に進みます。
トレース ペインのヘッダーでは、trace ID の接尾辞 (たとえば “b3ea”) をクリックすると、その call の完全な トレース 詳細を表示するパネルが開きます。このパネルでは、トレース を確認したり、提供された アノテーション を表示または比較したりできます。
他のユーザーがすでにレビューした項目にフィードバックを送信すると、そのフィードバックは元の アノテーター のフィードバックに加えて保存されます。
