> ## Documentation Index
> Fetch the complete documentation index at: https://docs.wandb.ai/llms.txt
> Use this file to discover all available pages before exploring further.
# 기본 제공 시그널를 사용해 모니터링
> W&B는 프로덕션 환경의 에이전트를 위한 기본 제공 점수화 솔루션을 제공합니다
이 페이지에서는 프로덕션 트래픽을 모니터링하는 이전 접근 방식을 다룹니다. 새로 구현하는 경우 Weave for Agents 아래의 **Signals**를 사용하세요. [에이전트 시그널 보기](/ko/weave/guides/tracking/view-agent-signals)를 참조하세요.
지연 시간, 토큰 수, 비용과 같은 표준 시스템 메트릭만으로는 에이전트 동작을 완전히 캡처할 수 없습니다. 개별 트레이스를 살펴보면 깊이 있는 인사이트를 얻을 수 있지만, 실제 환경에서 생성되는 수백만 건의 트레이스에는 확장하기 어렵습니다.
시그널는 프로덕션 환경의 에이전트에 대해 자동화된 동작 점수화를 제공하여 이 문제를 해결하는 고수준 모니터링 솔루션입니다:
* 자동화된 점수화: 유입되는 모든 프로덕션 트레이스는 일반적인 품질 문제와 오류를 기준으로 자동 처리되고 점수화됩니다.
* 인프라: 처리는 수백만 건의 트레이스를 확장 가능하게 다룰 수 있도록 CoreWeave 컴퓨트와 CoreWeave GPU로 구동됩니다.
프로덕션 환경에서 시그널를 사용하면 다음과 같은 이점이 있습니다:
* 동작 인사이트 확보. 시스템 메트릭을 넘어, 에이전트가 환각을 일으키는지, 대화 패턴을 제대로 따르지 못하는지, 또는 근거로 삼는 증거와의 연결을 잃고 있는지를 파악할 수 있습니다.
* 연구 루프 가속화. 시그널가 생성한 점수와 실패 분석을 사용해 약점을 파악하고, 이를 모델 개선, 데이터 annotation, 또는 강화 학습 연구에 활용할 수 있습니다.
## 사용 가능한 시그널
W\&B Weave는 기본 제공 시그널이 포함된 모니터를 제공합니다. 기본 제공 시그널은 별도의 맞춤형 설정 없이 기본적으로 프로덕션 트레이스에서 일반적인 품질 문제와 오류를 평가할 수 있는 사전 설정 Scorer입니다. 각 기본 제공 시그널은 벤치마크된 LLM 프롬프트를 사용해 트레이스를 분류하고, 감지된 문제를 나타내는 쉼표로 구분된 tags로 결과를 저장합니다.
시그널은 [Serverless Inference](/ko/inference/) 모델을 사용해 트레이스를 평가하므로 외부 API 키가 필요하지 않습니다.
W\&B Weave는 두 그룹으로 구성된 사전 설정 시그널 13개를 제공합니다.
### 품질 신호
품질 신호는 성공한 최상위 수준 트레이스에서 출력 품질 및 안전성 문제를 평가합니다.
| Signal | What it detects |
| -------------------- | ----------------------------------------------- |
| **Hallucination** | 제공된 입력 컨텍스트와 모순되는 지어낸 사실 또는 주장 |
| **Low quality** | 형식이 부적절하거나, 성의가 부족하거나, 내용이 불완전한 응답 |
| **User frustration** | 반복되는 질문, 부정적인 감정, 불만 등 사용자 답답함이나 좌절의 징후 |
| **Jailbreaking** | 안전 가이드라인을 우회하려는 프롬프트 인젝션 및 jailbreak 시도 |
| **NSFW** | 입력 또는 출력에 포함된 노골적이거나 폭력적이거나 그 밖에 부적절한 콘텐츠 |
| **Lazy** | 지나치게 짧은 답변, 도움 거부, 작업 미루기와 같은 성의 없는 응답 |
| **Forgetful** | 앞선 대화의 컨텍스트를 활용하지 못하고, 이전에 언급된 사실이나 지침을 무시하는 경우 |
### 오류 시그널
오류 시그널은 실패한 트레이스를 근본 원인별로 분류해, 인프라 및 애플리케이션 문제를 파악하고 해결하는 데 도움을 줍니다.
| 시그널 | 감지 대상 |
| --------------------- | ----------------------------------------------- |
| **Network Error** | DNS 실패, 시간 초과, 연결 재설정 등 기타 연결 문제 |
| **Ratelimited** | HTTP `429` 응답, 할당량 소진, 업스트림 API의 속도 제한 |
| **Request Too Large** | 컨텍스트 윈도우 초과와 같이 크기 또는 token limits를 초과하는 요청 |
| **Bad Request** | 서버가 요청을 거부한 클라이언트 측 오류(`429`를 제외한 `4xx`) |
| **Bad Response** | 원격 서비스의 유효하지 않거나 예상과 다르거나 사용할 수 없는 응답(`5xx`) |
| **Bug** | `KeyError`, `TypeError`, 로직 오류와 같은 애플리케이션 코드 결함 |
### 시그널 작동 방식
각 시그널은 트레이스를 분류하기 위해 LLM-as-a-judge 접근 방식을 사용합니다.
* **트레이스 선택**: 품질 시그널은 성공한 루트 레벨 트레이스를 평가합니다. 오류 시그널은 실패한 트레이스를 평가합니다. Weave는 하위 span과 중간 Call을 점수화하지 않습니다.
* **프롬프트 구성**: Weave는 트레이스 메타데이터, 입력, 출력, 예외 세부 정보(있는 경우), 오퍼레이션의 소스 코드를 포함하는 프롬프트를 구성합니다. Weave는 시그널의 분류기 프롬프트에 감지할 특정 문제에 대한 지침을 추가합니다.
* **LLM 점수화**: 각 시그널에 대해 Serverless Inference 모델이 이진 분류(해당 문제가 트레이스에 존재하는지 여부)를 수행합니다. 감지된 문제는 쉼표로 구분된 string 태그로 반환됩니다(예: `"Low-quality, User-frustration, Forgetful"`).
같은 그룹(품질 또는 오류)의 여러 시그널이 활성화되면 Weave는 시그널을 하나의 LLM Call로 일괄 처리합니다. 모델은 모든 활성 분류기를 한 번에 평가하고 각각에 대한 결과를 반환합니다.
## Monitors 페이지에서 시그널 추가
시그널을 추가하면 자동 점수화가 켜져 Weave가 해당 시그널의 기준에 따라 새 프로덕션 트레이스를 평가합니다. 시그널을 활성화하려면 다음 단계를 따르세요.
1. [wandb.ai](https://wandb.ai/)로 이동한 다음 Weave 프로젝트를 여세요.
2. Weave 프로젝트 사이드바에서 **Monitors**를 선택하세요.
3. Monitors가 활성화되지 않은 프로젝트에 시그널을 추가하려면 해당 Card를 클릭해 체크박스를 활성화한 다음 **Setup monitors**를 클릭하세요.
4. 기존 Monitor에 시그널을 추가하려면 **Monitors** 페이지 오른쪽 상단에서 **Browse signals**를 선택하세요. 그러면 **Add signals** 드로어가 열리며, 여기에는 사용 가능한 시그널이 범주(예: Quality classifiers 및 Error classifiers)별로 그룹화되어 각각 체크박스와 함께 나열됩니다. 개별 시그널을 선택하거나, 그룹에 대해 **Enable all**을 사용하거나, **Create custom signal**을 선택할 수 있습니다. 그런 다음 드로어 하단에서 **Add signals**를 선택하세요.
시그널을 추가하면 Weave가 들어오는 트레이스를 자동으로 점수화합니다.
## 활성 시그널 관리
시그널이 실행되기 시작한 후에는 어떤 시그널이 활성 상태인지 검토하거나 더 이상 필요하지 않은 시그널을 끌 수 있습니다. 활성 시그널을 확인하거나 제거하려면 다음 단계를 따르세요.
1. Monitors 페이지에서 **Manage signals** () 버튼을 선택하세요. 그러면 현재 활성 상태인 모든 시그널이 범주별로 그룹화되어 표시되는 드로어가 열립니다.
2. 시그널 위에 마우스를 올린 다음 **Remove signal** () 버튼을 선택해 해당 시그널을 비활성화하세요.
시그널을 제거하면 새 트레이스에 대한 점수화가 중지됩니다. Weave는 해당 시그널의 기존 점수를 유지합니다.
## 기본 제공 시그널 사용
시그널이 활성화되어 트레이스를 점수화하기 시작하면 Weave의 여러 위치에서 결과를 검토할 수 있습니다. Weave가 문제를 감지할 때 알림을 설정할 수도 있습니다. 다음 섹션에서는 시그널 결과를 어디에서 확인할 수 있는지와 그 결과에 어떻게 대응할 수 있는지 설명합니다.
### Traces 페이지에서 태그가 지정된 Call 트레이스 보기
개별 함수를 `@weave.op` decorator를 사용하는 Ops로 트레이싱하는 경우, Weave는 signal 결과를 Call object의 feedback으로 저장합니다. 이러한 결과는 **Traces** 페이지에서 쿼리할 수 있습니다.
**Traces** 페이지의 **Signals** column을 사용하면 특정 동작이 있는 트레이스를 확인할 수 있습니다. Signals column은 기준이 충족되면 tags를 표시합니다. 이 tags에 마우스를 올리면 score의 confidence와 추론을 확인할 수 있습니다.
트레이스 table 툴바를 사용하면 특정 signal이 트리거된 트레이스만 표시하도록 트레이스 table을 필터링할 수 있습니다.
signal이 생성한 classifier Call을 선택하고 **Trace Details view**를 검토하면 Traces 페이지에서 추가 signal 세부 정보를 확인할 수 있습니다. Call **Output** 아래에서 추론은 `classifier_meta`를 확인하세요. 예를 들어, 다음 스크린샷은 `Low-quality` 일치와 confidence(0.9), 그리고 이 평가에 대한 이유가 포함된 `Quality-classifiers` signal을 보여줍니다.
### 프로젝트 대시보드에서 신호 보기
프로젝트 수준에서도 신호를 검토할 수 있습니다.
1. 프로젝트 사이드바에서 **Project**를 선택하세요.
2. **Project** 대시보드 상단에서 **Weave** 탭을 선택하세요.
3. Weave 대시보드 패널에서 **Monitor Scores**를 찾으세요.
**Monitor Scores** 프로젝트 패널에서는 프로젝트에서 발생한 신호를 시간 경과에 따른 그래프로 확인할 수 있습니다.
### 시그널 알림
UI에서 시그널을 검토하는 것 외에도, Weave는 시그널이 트리거될 때 알림을 보낼 수 있습니다. 에이전트의 성능이 특정 임곗값 아래로 떨어질 때 Slack과 같은 도구를 통해 팀에 알림을 보내는 자동 트리거를 설정할 수 있습니다.
시그널이 트리거될 때 알림을 받으려면 [자동화](/ko/weave/guides/evaluation/automations)를 설정하세요.
***
기본 제공 시그널만으로는 부족한 특정 모니터링이 필요하면 [맞춤형 모니터 설정](/ko/weave/guides/evaluation/custom-monitors)을 참조하세요.