Weave for Agents는 공개 프리뷰 상태입니다. 정식 출시 전에 특성, API 및 Agents 뷰 UI가 변경될 수 있습니다.
- https://wandb.ai로 이동한 다음 프로젝트를 선택하세요.
- 사이드바 메뉴에서 Agents를 선택해 프로젝트에 저장된 모든 에이전트 대화를 확인하세요.
- 탭 바에서 시그널를 선택하세요.
- 턴: 사용자와 에이전트 사이에서 오가는 한 차례의 상호작용입니다.
- 평점: 일치하는 span에 부여되는 0.0~1.0 사이의 숫자 점수입니다.
- 태그: “user-frustration” 또는 “nsfw”처럼 일치하는 span에 부여되는 라벨입니다.
시그널 탭에는 에이전트에서 점수가 매겨진 턴의 테이블이 표시됩니다. 각 행은 시그널 모니터 중 하나의 출력을 나타냅니다. 다음 열이 기본적으로 표시됩니다.
| 열 | 설명 |
|---|
| Type | 점수가 매겨지는 대화의 부분입니다. turn만 지원됩니다. |
| Scorer | 이 점수를 생성한 시그널의 이름입니다. |
| Last message | 점수가 매겨진 턴의 마지막 메시지 미리보기이며, 아래에 Role이 표시됩니다. |
| Agent | 점수가 매겨진 턴에 연결된 에이전트입니다. |
| Scores | 0.0에서 1.0 사이의 숫자 평점 또는 일치한 경우 태그입니다. 1이 좋음, 0이 나쁨을 의미하도록 일관된 평점을 사용하는 것을 권장하지만, Scorer는 정의한 어떤 척도든 사용할 수 있습니다. |
| Trend | 이 시그널의 시간 경과에 따른 추세를 보여주는 인라인 차트를 표시합니다. 평점의 경우 평균값을, 태그의 경우 개수를 표시합니다. |
| When | 시그널이 점수화된 시점입니다. |
- 평점: 일치하는 각 span에 0과 1 사이의 점수를 부여합니다.
- 태그: 일치하는 각 span에 최대 10개의 태그를 부여합니다. 시그널 UI는 태그가 하나 이상 일치한 span의 행만 표시하므로, 출력이 보이지 않더라도 태그 Scorer가 성공적으로 실행되었을 수 있습니다.
이 선택기를 사용하면 시그널이 점수를 매길 턴을 제한할 수 있습니다. 예를 들어 특정 Agent name, Operation name, Tool name 또는 Request model에 해당하는 턴만 점수 매기도록 설정할 수 있습니다. Weave는 여러 필터를 AND 논리로 결합합니다. 모든 턴에 점수를 매기려면 필터 행 끝의 x를 선택해 해당 필터를 제거하세요.
다음 표에서 기본 템플릿을 선택한 다음, 인라인으로 표시되는 Scorer prompt를 조정하세요. Weave는 점수화 중에 {input_messages}, {output_messages}, {system_instructions}와 같은 템플릿 변수를 치환합니다.
| 템플릿 | 평가 내용 |
|---|
| 사용자 만족도 | 사용자가 만족하는지(긍정적인 피드백, 후속 참여, 작업 완료) 또는 불만족하는지(불만 제기, 반복적인 재진술, 대화 중단)를 평가합니다. |
| 사용자의 정상적 의도 | 사용자의 의도가 선의이며 정당한지, 아니면 jailbreak 시도, 유해한 요청 또는 prompt injection에 해당하는지를 평가합니다. |
| 업무 환경 적합성 | 대화 내용이 어떤 전문적인 업무 환경에서도 적절한지, 아니면 노골적이거나 폭력적이거나 그 밖에 직장에서 부적절한 내용을 포함하는지를 평가합니다. |
| 응답 품질 | 에이전트의 응답이 정확하고 완전하며 사용자의 Request에 직접적으로 부합하는지를 평가합니다. |
| Template | 감지 대상 |
|---|
| 사용자 불만 | 사용자가 좌절, 분노, 혼란, 또는 불만의 징후를 보입니다. |
| 악의적 의도 (Jailbreaking) | 사용자가 시스템을 jailbreak하거나, 제한된 콘텐츠를 추출하거나, prompt injection을 수행하거나, role-play exploit을 사용하거나, 그 밖의 방식으로 에이전트를 조작해 가드레일을 무시하도록 유도하려고 시도합니다. |
| NSFW | 사용자 입력 또는 에이전트 출력에 노골적인 성적 콘텐츠, 잔혹한 폭력 묘사, 또는 직장 환경에 부적절한 기타 내용이 포함되어 있습니다. |
| 낮은 품질의 응답 | 에이전트 출력이 사실과 다르거나, 주제에서 벗어나거나, 회피적이거나, 반복적이거나, 거부할 때 정당한 이유가 부족하거나, 그 밖의 방식으로 사용자의 요청에 제대로 응답하지 못하는 경우입니다. |
- Inference 모델: 점수화에 사용할 LLM입니다. 사용 가능한 경우 Serverless Inference를 기본값으로 사용하는 것이 좋습니다.
- 샘플 비율: 트래픽이 많은 에이전트의 경우 모든 턴이 아니라 일부 턴만 점수화하도록 샘플 비율을 설정해 비용을 줄이세요.
Manage signals를 선택하면 프로젝트의 모든 활성 시그널이 나열된 드로어가 열립니다. 여기에서 시그널을 켜거나 끄고, 삭제하거나, 각 시그널을 편집할 수 있습니다. 편집기에는 + New signal과 동일한 필드가 표시됩니다.
시그널 활동은 프로젝트 사이드바의 Traces 아래에 표시됩니다. 예상한 시그널 일치 항목이 보이지 않으면 Traces 테이블에서 디버깅하세요. 예를 들어 오류 상태를 확인하려면 Scorer 이름과 Status 열을 확인하세요. Scorer 실행 오류가 발생하면 Status에 빨간색 표시기가 나타나며 오류 세부 정보도 함께 제공됩니다.
