시작하기
- https://wandb.ai로 이동한 다음 프로젝트를 선택하세요.
- 사이드바 메뉴에서 Agents를 선택해 프로젝트에 저장된 모든 에이전트 대화를 확인하세요.
- 탭 바에서 시그널를 선택하세요.
주요 용어
- 턴: 사용자와 에이전트 사이에서 오가는 한 차례의 상호작용입니다.
- 평점: 일치하는 span에 부여되는 0.0~1.0 사이의 숫자 점수입니다.
- 태그: “user-frustration” 또는 “nsfw”처럼 일치하는 span에 부여되는 라벨입니다.
시그널 테이블
시간 범위 선택기와 Filter 바를 사용해 Scorer, 에이전트, 점수 범위 또는 기간별로 결과를 좁히세요. Score volume 타임라인은 Weave가 평점으로 평가했거나 태그를 지정한 시그널의 개수를 보여줍니다. 이 타임라인은 테이블에 표시된 행을 반영하며, 타임라인에서 드래그하여 필터링할 수 있습니다.
Weave가 점수를 정규화하는 방식
Weave는 시그널 결과를 저장하기 전에 Scorer가 반환한 태그, 평점, 이유를 정규화합니다.- 태그는 소문자로 변환됩니다.
0-9,a-z,A-Z, 공백,. , ; - & ! @ # $ % ?이외의 문자는 제거됩니다. 연속된 공백, 밑줄, 대시는 하나의 대시로 합쳐집니다. - 결과당 태그는 최대 10개까지만 유지되며, 중복된 태그는 삭제됩니다.
- 이유에서도 같은 문자가 제거되며, 256자를 넘는 부분은 잘립니다.
- 36자를 초과하는 태그가 있거나 평점이 두 개 이상인 결과는 전체가 거부되며, Weave는 해당 결과에 대한 feedback을 기록하지 않습니다.
새 시그널 만들기
- Tags:
user-frustration또는nsfw와 같이 일치하는 span에 라벨을 자동으로 적용합니다. Tags를 사용해 span을 분류하거나 원치 않는 동작을 표시하세요. 시그널 UI에는 하나 이상의 태그와 일치한 span의 행만 표시되므로, 출력이 보이지 않아도 태그 시그널은 정상적으로 실행되었을 수 있습니다. - 평점: 일치하는 span에 0~1 사이의 점수를 부여합니다. 평점을 사용해 에이전트 성능을 평가하고 시간 경과에 따른 개선 정도를 측정하세요.