메인 콘텐츠로 건너뛰기
W&B Weave의 Agents view에서 시그널 탭은 에이전트 대화의 태그와 평점을 보여줍니다. 시그널은 품질 및 안전 문제를 드러내 문제를 식별하고, 패턴을 찾고, 주의가 필요한 트레이스를 강조합니다. 시그널을 사용하면 에이전트 응답의 품질을 자동으로 평가하고, 사용자가 좌절감을 느끼는 상황을 감지하거나, NSFW 콘텐츠를 표시할 수 있습니다.

​
시작하기

프로젝트의 시그널을 보려면 다음 단계를 따르세요.
  1. https://wandb.ai로 이동한 다음 프로젝트를 선택하세요.
  2. 사이드바 메뉴에서 Agents를 선택해 프로젝트에 저장된 모든 에이전트 대화를 확인하세요.
  3. 탭 바에서 시그널를 선택하세요.
에이전트의 점수가 매겨진 턴 목록이 표시된 시그널 탭.

​
주요 용어

  • 턴: 사용자와 에이전트 사이에서 오가는 한 차례의 상호작용입니다.
  • 평점: 일치하는 span에 부여되는 0.0~1.0 사이의 숫자 점수입니다.
  • 태그: “user-frustration” 또는 “nsfw”처럼 일치하는 span에 부여되는 라벨입니다.

​
시그널 테이블

시그널 탭에는 에이전트에서 점수가 매겨진 턴의 테이블이 표시됩니다. 각 행은 시그널 모니터 중 하나의 출력을 나타냅니다. 다음 열이 기본적으로 표시됩니다.
열설명
Type점수가 매겨지는 대화의 부분입니다. turn만 지원됩니다.
Scorer이 점수를 생성한 시그널의 이름입니다.
Last message점수가 매겨진 턴의 마지막 메시지 미리보기이며, 아래에 Role이 표시됩니다.
Agent점수가 매겨진 턴에 연결된 에이전트입니다.
Scores0.0에서 1.0 사이의 숫자 평점 또는 일치한 경우 태그입니다. 1이 좋음, 0이 나쁨을 의미하도록 일관된 평점을 사용하는 것을 권장하지만, Scorer는 정의한 어떤 척도든 사용할 수 있습니다.
Trend이 시그널의 시간 경과에 따른 추세를 보여주는 인라인 차트를 표시합니다. 평점의 경우 평균값을, 태그의 경우 개수를 표시합니다.
When시그널이 점수화된 시점입니다.
시간 범위 선택기와 Filter 바를 사용해 Scorer, 에이전트, 점수 범위 또는 기간별로 결과를 좁히세요. Score volume 타임라인은 Weave가 평점으로 평가했거나 태그를 지정한 시그널의 개수를 보여줍니다. 이 타임라인은 테이블에 표시된 행을 반영하며, 타임라인에서 드래그하여 필터링할 수 있습니다.

​
새 시그널 만들기

에이전트의 턴 점수화를 시작하려면 시그널을 하나 이상 만드세요. + New signal을 선택해 Create signals 드로어를 여세요. 드로어에서는 사용 가능한 시그널을 두 가지 범주로 나눠 보여줍니다.
  • Tags: user-frustration 또는 nsfw와 같이 일치하는 span에 라벨을 자동으로 적용합니다. Tags를 사용해 span을 분류하거나 원치 않는 동작을 표시하세요. 시그널 UI에는 하나 이상의 태그와 일치한 span의 행만 표시되므로, 출력이 보이지 않아도 태그 시그널은 정상적으로 실행되었을 수 있습니다.
  • 평점: 일치하는 span에 0~1 사이의 점수를 부여합니다. 평점을 사용해 에이전트 성능을 평가하고 시간 경과에 따른 개선 정도를 측정하세요.

​
프리셋 시그널

각 범주에는 바로 선택할 수 있는 프리셋 템플릿이 제공됩니다. 두 범주에 걸쳐 원하는 프리셋을 조합한 다음 Create [N] signals를 선택하면 기본 설정으로 한 번에 모두 생성할 수 있습니다.

​
태그 프리셋

Template감지 대상
사용자 불만사용자가 좌절, 분노, 혼란, 또는 불만의 징후를 보입니다.
악의적 의도 (Jailbreaking)사용자가 시스템을 jailbreak하거나, 제한된 콘텐츠를 추출하거나, prompt injection을 수행하거나, role-play exploit을 사용하거나, 그 밖의 방식으로 에이전트를 조작해 가드레일을 무시하도록 유도하려고 시도합니다.
NSFW사용자 입력 또는 에이전트 출력에 노골적인 성적 콘텐츠, 잔혹한 폭력 묘사, 또는 직장 환경에 부적절한 기타 내용이 포함되어 있습니다.
낮은 품질의 응답에이전트 출력이 사실과 다르거나, 주제에서 벗어나거나, 회피적이거나, 반복적이거나, 거부할 때 정당한 이유가 부족하거나, 그 밖의 방식으로 사용자의 요청에 제대로 응답하지 못하는 경우입니다.

​
평점 프리셋

템플릿평가 내용
사용자 만족도사용자가 만족하는지(긍정적인 피드백, 후속 참여, 작업 완료) 또는 불만족하는지(불만 제기, 반복적인 재진술, 대화 중단)를 평가합니다.
사용자의 정상적 의도사용자의 의도가 선의이며 정당한지, 아니면 jailbreak 시도, 유해한 요청 또는 prompt injection에 해당하는지를 평가합니다.
업무 환경 적합성대화 내용이 어떤 전문적인 업무 환경에서도 적절한지, 아니면 노골적이거나 폭력적이거나 그 밖에 직장에서 부적절한 내용을 포함하는지를 평가합니다.
응답 품질에이전트의 응답이 정확하고 완전하며 사용자의 Request에 직접적으로 부합하는지를 평가합니다.

​
맞춤형 시그널

Create signals 드로어에서 태그 및 평점 각 카테고리 하단에 맞춤형 시그널을 만들 수 있는 옵션이 있습니다. 직접 시그널을 정의하려면 Custom Tags 또는 Custom Rating을 선택하세요. 그러면 다음 필드가 있는 설정 화면이 열립니다.
  • Prompt template: 필요에 따라 하나 이상의 사전 설정 템플릿을 기반으로 Scorer를 구성할 수 있습니다. 템플릿을 선택하면 Scorer prompt가 채워지며, 여러 템플릿을 조합하거나 처음부터 프롬프트를 직접 작성할 수 있습니다.
  • Scorer prompt: 점수화 시 추론 모델로 전송되는 프롬프트입니다. Weave는 점수화 중 {input_messages}, {output_messages}, {system_instructions}, {agent_name} 등의 템플릿 변수를 해석합니다.
  • Scorer name: 이 시그널의 표시 이름입니다.
  • Inference model: 점수화에 사용할 LLM입니다. 기본값은 Serverless Inference이며, CoreWeave Serverless Inference는 W&B 계정의 크레딧을 사용합니다.
  • Advanced: 펼쳐서 추가 옵션을 설정합니다.
    • Only score turns matching: 하나 이상의 필터를 추가해 시그널이 점수화할 턴을 제한합니다. 예를 들어 에이전트, 오퍼레이션, 도구 또는 모델별로 제한할 수 있습니다. 비워 두면 모든 에이전트 턴을 점수화합니다. Weave는 여러 필터를 AND 논리로 결합합니다.
    • Sample rate: 트래픽이 많은 에이전트의 경우 샘플 비율을 낮추면 모든 턴 대신 일치하는 턴의 일부만 점수화하여 비용을 줄일 수 있습니다.
저장하려면 Create signal을 선택하세요.

​
시그널 관리 및 편집

생성된 시그널이 하나 이상 있는 경우, 툴바에서 활성 시그널 수(예: 1 active signals)가 표시된 활성 시그널 버튼을 선택하면 프로젝트의 모든 활성 시그널이 나열된 드로어가 열립니다. 여기에서 시그널을 켜거나 끄고, 삭제하거나, 각 시그널을 편집할 수 있습니다. 편집기에는 맞춤형 시그널과 동일한 설정 필드가 표시됩니다.

​
시그널 문제 해결

시그널 활동은 프로젝트 사이드바의 Traces 아래에 표시됩니다. 예상한 시그널 일치 항목이 보이지 않으면 Traces 테이블에서 디버깅하세요. 예를 들어 오류 상태를 확인하려면 Scorer 이름과 Status 열을 확인하세요. Scorer 실행 오류가 발생하면 Status에 빨간색 표시기가 나타나며 오류 세부 정보도 함께 제공됩니다.