> ## Documentation Index
> Fetch the complete documentation index at: https://docs.wandb.ai/llms.txt
> Use this file to discover all available pages before exploring further.

# 시그널로 에이전트를 모니터링하세요

> W&B Weave 시그널을 사용해 에이전트 턴을 점수화하고, 태그를 적용하고, 프로덕션 환경에서 품질 및 안전 문제를 파악하세요.

W\&B Weave의 [Agents view](/ko/weave/guides/tracking/view-agent-activity)에서 시그널 탭은 에이전트 대화의 태그와 평점을 보여줍니다. 시그널은 품질 및 안전 문제를 드러내 문제를 식별하고, 패턴을 찾고, 주의가 필요한 트레이스를 강조합니다. 시그널을 사용하면 에이전트 응답의 품질을 자동으로 평가하고, 사용자가 좌절감을 느끼는 상황을 감지하거나, NSFW 콘텐츠를 표시할 수 있습니다.

<div id="get-started">
  ## 시작하기
</div>

프로젝트의 시그널을 보려면 다음 단계를 따르세요.

1. [https://wandb.ai](https://wandb.ai)로 이동한 다음 프로젝트를 선택하세요.
2. 사이드바 메뉴에서 **Agents**를 선택해 프로젝트에 저장된 모든 에이전트 대화를 확인하세요.
3. 탭 바에서 **시그널**를 선택하세요.

<img src="https://mintcdn.com/wb-21fd5541/e9uGjdE5LLGr1nTZ/weave/guides/tracking/imgs/agent-view-signals.png?fit=max&auto=format&n=e9uGjdE5LLGr1nTZ&q=85&s=f1f43bff22b5b05f95e88f6539eb7662" alt="에이전트의 점수가 매겨진 턴 목록이 표시된 시그널 탭." width="2065" height="603" data-path="weave/guides/tracking/imgs/agent-view-signals.png" />

<div id="key-terms">
  ## 주요 용어
</div>

* **턴**: 사용자와 에이전트 사이에서 오가는 한 차례의 상호작용입니다.
* **평점**: 일치하는 span에 부여되는 0.0\~1.0 사이의 숫자 점수입니다.
* **태그**: "user-frustration" 또는 "nsfw"처럼 일치하는 span에 부여되는 라벨입니다.

<div id="signals-table">
  ## 시그널 테이블
</div>

시그널 탭에는 에이전트에서 점수가 매겨진 턴의 테이블이 표시됩니다. 각 행은 시그널 모니터 중 하나의 출력을 나타냅니다. 다음 열이 기본적으로 표시됩니다.

| 열                | 설명                                                                                                             |
| ---------------- | -------------------------------------------------------------------------------------------------------------- |
| **Type**         | 점수가 매겨지는 대화의 부분입니다. `turn`만 지원됩니다.                                                                             |
| **Scorer**       | 이 점수를 생성한 시그널의 이름입니다.                                                                                          |
| **Last message** | 점수가 매겨진 턴의 마지막 메시지 미리보기이며, 아래에 Role이 표시됩니다.                                                                    |
| **Agent**        | 점수가 매겨진 턴에 연결된 에이전트입니다.                                                                                        |
| **Scores**       | 0.0에서 1.0 사이의 숫자 평점 또는 일치한 경우 태그입니다. 1이 좋음, 0이 나쁨을 의미하도록 일관된 평점을 사용하는 것을 권장하지만, Scorer는 정의한 어떤 척도든 사용할 수 있습니다. |
| **Trend**        | 이 시그널의 시간 경과에 따른 추세를 보여주는 인라인 차트를 표시합니다. 평점의 경우 평균값을, 태그의 경우 개수를 표시합니다.                                        |
| **When**         | 시그널이 점수화된 시점입니다.                                                                                               |

시간 범위 선택기와 **Filter** 바를 사용해 Scorer, 에이전트, 점수 범위 또는 기간별로 결과를 좁히세요. **Score volume** 타임라인은 Weave가 평점으로 평가했거나 태그를 지정한 시그널의 개수를 보여줍니다. 이 타임라인은 테이블에 표시된 행을 반영하며, 타임라인에서 드래그하여 필터링할 수 있습니다.

<div id="create-a-new-signal">
  ## 새 시그널 만들기
</div>

에이전트의 턴 점수화를 시작하려면 시그널을 하나 이상 만드세요. **+ New signal**을 선택해 **Create signals** 드로어를 여세요.

드로어에서는 사용 가능한 시그널을 두 가지 범주로 나눠 보여줍니다.

* **Tags**: `user-frustration` 또는 `nsfw`와 같이 일치하는 span에 라벨을 자동으로 적용합니다. Tags를 사용해 span을 분류하거나 원치 않는 동작을 표시하세요. 시그널 UI에는 하나 이상의 태그와 일치한 span의 행만 표시되므로, 출력이 보이지 않아도 태그 시그널은 정상적으로 실행되었을 수 있습니다.
* **평점**: 일치하는 span에 0\~1 사이의 점수를 부여합니다. 평점을 사용해 에이전트 성능을 평가하고 시간 경과에 따른 개선 정도를 측정하세요.

<div id="preset-signals">
  ### 프리셋 시그널
</div>

각 범주에는 바로 선택할 수 있는 프리셋 템플릿이 제공됩니다. 두 범주에 걸쳐 원하는 프리셋을 조합한 다음 **Create \[*N*] signals**를 선택하면 기본 설정으로 한 번에 모두 생성할 수 있습니다.

<div id="tags-presets">
  #### 태그 프리셋
</div>

| Template                  | 감지 대상                                                                                                                                   |
| ------------------------- | --------------------------------------------------------------------------------------------------------------------------------------- |
| **사용자 불만**                | 사용자가 좌절, 분노, 혼란, 또는 불만의 징후를 보입니다.                                                                                                       |
| **악의적 의도 (Jailbreaking)** | 사용자가 시스템을 jailbreak하거나, 제한된 콘텐츠를 추출하거나, prompt injection을 수행하거나, role-play exploit을 사용하거나, 그 밖의 방식으로 에이전트를 조작해 가드레일을 무시하도록 유도하려고 시도합니다. |
| **NSFW**                  | 사용자 입력 또는 에이전트 출력에 노골적인 성적 콘텐츠, 잔혹한 폭력 묘사, 또는 직장 환경에 부적절한 기타 내용이 포함되어 있습니다.                                                             |
| **낮은 품질의 응답**             | 에이전트 출력이 사실과 다르거나, 주제에서 벗어나거나, 회피적이거나, 반복적이거나, 거부할 때 정당한 이유가 부족하거나, 그 밖의 방식으로 사용자의 요청에 제대로 응답하지 못하는 경우입니다.                              |

<div id="ratings-presets">
  #### 평점 프리셋
</div>

| 템플릿             | 평가 내용                                                                            |
| --------------- | -------------------------------------------------------------------------------- |
| **사용자 만족도**     | 사용자가 만족하는지(긍정적인 피드백, 후속 참여, 작업 완료) 또는 불만족하는지(불만 제기, 반복적인 재진술, 대화 중단)를 평가합니다.     |
| **사용자의 정상적 의도** | 사용자의 의도가 선의이며 정당한지, 아니면 jailbreak 시도, 유해한 요청 또는 prompt injection에 해당하는지를 평가합니다.  |
| **업무 환경 적합성**   | 대화 내용이 어떤 전문적인 업무 환경에서도 적절한지, 아니면 노골적이거나 폭력적이거나 그 밖에 직장에서 부적절한 내용을 포함하는지를 평가합니다. |
| **응답 품질**       | 에이전트의 응답이 정확하고 완전하며 사용자의 Request에 직접적으로 부합하는지를 평가합니다.                            |

<div id="custom-signals">
  ### 맞춤형 시그널
</div>

**Create signals** 드로어에서 **태그** 및 **평점** 각 카테고리 하단에 맞춤형 시그널을 만들 수 있는 옵션이 있습니다.

직접 시그널을 정의하려면 **Custom Tags** 또는 **Custom Rating**을 선택하세요. 그러면 다음 필드가 있는 설정 화면이 열립니다.

* **Prompt template**: 필요에 따라 하나 이상의 사전 설정 템플릿을 기반으로 Scorer를 구성할 수 있습니다. 템플릿을 선택하면 **Scorer prompt**가 채워지며, 여러 템플릿을 조합하거나 처음부터 프롬프트를 직접 작성할 수 있습니다.
* **Scorer prompt**: 점수화 시 추론 모델로 전송되는 프롬프트입니다. Weave는 점수화 중 `{input_messages}`, `{output_messages}`, `{system_instructions}`, `{agent_name}` 등의 템플릿 변수를 해석합니다.
* **Scorer name**: 이 시그널의 표시 이름입니다.
* **Inference model**: 점수화에 사용할 LLM입니다. 기본값은 [Serverless Inference](/ko/inference/)이며, CoreWeave Serverless Inference는 W\&B 계정의 크레딧을 사용합니다.
* **Advanced**: 펼쳐서 추가 옵션을 설정합니다.
  * **Only score turns matching**: 하나 이상의 필터를 추가해 시그널이 점수화할 턴을 제한합니다. 예를 들어 에이전트, 오퍼레이션, 도구 또는 모델별로 제한할 수 있습니다. 비워 두면 모든 에이전트 턴을 점수화합니다. Weave는 여러 필터를 `AND` 논리로 결합합니다.
  * **Sample rate**: 트래픽이 많은 에이전트의 경우 샘플 비율을 낮추면 모든 턴 대신 일치하는 턴의 일부만 점수화하여 비용을 줄일 수 있습니다.

저장하려면 **Create signal**을 선택하세요.

<div id="manage-and-edit-signals">
  ## 시그널 관리 및 편집
</div>

생성된 시그널이 하나 이상 있는 경우, 툴바에서 활성 시그널 수(예: **1 active signals**)가 표시된 활성 시그널 버튼을 선택하면 프로젝트의 모든 활성 시그널이 나열된 드로어가 열립니다. 여기에서 시그널을 켜거나 끄고, 삭제하거나, 각 시그널을 편집할 수 있습니다. 편집기에는 맞춤형 시그널과 동일한 설정 필드가 표시됩니다.

<div id="troubleshoot-signals">
  ## 시그널 문제 해결
</div>

시그널 활동은 프로젝트 사이드바의 **Traces** 아래에 표시됩니다. 예상한 시그널 일치 항목이 보이지 않으면 **Traces** 테이블에서 디버깅하세요. 예를 들어 오류 상태를 확인하려면 Scorer 이름과 **Status** 열을 확인하세요. Scorer 실행 오류가 발생하면 **Status**에 빨간색 표시기가 나타나며 오류 세부 정보도 함께 제공됩니다.