어노테이션 큐는 도메인 전문가를 위한 전용 검토 인터페이스를 제공합니다. 한 번에 하나의 항목을 검토하고, 제공된 맥락 정보를 확인한 다음, 미리 정의된 필드를 사용해 구조화된 피드백을 제출합니다. 큐를 완료하면 팀이 LLM 출력을 평가하고 개선하는 데 활용할 수 있는 전문가의 판단을 제공하게 됩니다.
검토를 완료하는 데 기본 모델이나 Tracing 시스템을 이해할 필요는 없습니다. 따라서 외부 전문가도 더 넓은 프로젝트 맥락을 알 필요 없이 데이터를 검토할 수 있습니다.
이 섹션에서는 나와 공유된 큐의 항목을 검토하는 전체 과정을 안내합니다.
어노테이터의 작업은 LLM 응답의 정확성을 검토하는 것입니다. Weave는 피드백을 데이터에 대한 어노테이션으로 저장합니다.
어노테이션 큐를 검토하려면 다음 단계를 따르세요.
- 팀에서 제공한 큐 링크를 사용해 공유된 어노테이션 큐를 엽니다.
- 각 항목을 검토합니다. 언제든지 큐의 항목 사이를 앞뒤로 이동할 수 있습니다.
- 제공된 어노테이션 필드를 사용해 어노테이션을 제출합니다.
Weave는 항목을 제출하면 진행 상황을 자동으로 저장합니다. 작업을 잠시 중단했다가 나중에 재개해야 하는 경우, 검토는 첫 번째 미완료 항목부터 자동으로 다시 시작됩니다. 모든 항목을 검토하면 어노테이션 큐 table에 작업 완료 상태가 반영됩니다.
다음은 검토 인터페이스와 큐의 단일 항목에 대해 어노테이션을 제출하는 방법을 설명합니다.
각 항목의 검토 인터페이스에는 두 개의 창이 표시됩니다:
- 선택한 입력 컨텍스트(예: 프롬프트, 문서, 이미지)와 이에 해당하는 모델 응답 또는 결정을 보여 주는 트레이스 창
- 어노테이션 필드가 포함된 annotation entry 양식이 있는 항목 창
큐에 제공된 지침에 따라 각 어노테이션 필드를 작성한 다음 Submit and next를 클릭하여 이 항목을 저장하고 다음 항목으로 계속 진행합니다.
트레이스 창 헤더에서 trace ID 접미사(예: “b3ea”)를 클릭하면 해당 call의 전체 트레이스 세부 정보를 보여 주는 패널이 열립니다. 여기서 트레이스를 검사하고 제공된 어노테이션을 확인하거나 비교할 수 있습니다.
다른 사람이 이미 검토한 항목에 대해 피드백을 제출하면, 사용자의 피드백은 원래 어노테이터의 피드백에 추가로 저장됩니다.
