시작하기
- https://wandb.ai로 이동한 다음 프로젝트를 선택하세요.
- 사이드바 메뉴에서 Agents를 선택하면 프로젝트에 저장된 모든 에이전트 대화를 볼 수 있습니다.
대시보드 탭
Agents 탭
- 여러 에이전트 모니터링. Card 그리드를 사용하면 개별 대화를 열지 않고도 모든 에이전트의 지연 시간과 오류율을 한 번에 비교할 수 있습니다. 한 Card에서 지연 시간이 급증하거나 오류율이 새롭게 빨간색으로 표시되면 조사할 가치가 있는 회귀를 시사할 수 있습니다.
- 오래된 에이전트 식별. Last seen 기준으로 정렬하면 최근 활동이 기록되지 않은 에이전트를 쉽게 확인할 수 있습니다. 이는 배포가 정상적으로 실행 중인지 확인하거나, 예기치 않게 트레이스 로깅을 중단했을 수 있는 에이전트를 찾아내는 데 유용합니다.
- 버전 비교. 각 Card의 버전 수는 해당 에이전트의 서로 다른 버전이 몇 개 배포되었는지 보여줍니다. 버전 수가 많으면서 오류율도 함께 상승하고 있다면 최근 배포에서 도입된 회귀를 나타낼 수 있습니다.
- 에이전트 자세히 보기. 아무 Card나 클릭하면 해당 에이전트의 세부 정보 패널이 열리며, 여기에서 해당 에이전트의 대화나 span으로 이동할 수 있습니다.
에이전트 Card
| 필드 | 설명 |
|---|---|
| Agent name | 에이전트의 트레이스와 함께 로깅된 이름입니다. |
| Last seen | 에이전트가 마지막으로 활동을 기록한 후 경과한 시간입니다. |
| Version | 에이전트의 span 전반에서 기록된 고유한 agent_version 값의 개수입니다. |
| Activity histogram | 최근 대화량을 보여주는 막대 chart로, 사용 추세를 빠르게 파악할 수 있습니다. |
| Conversations | 기록된 총 대화 수입니다. |
| Spans | 모든 대화에서 기록된 총 span 수입니다. |
| Cost | 에이전트의 대화 전반에서 발생한 총 비용입니다. 비용 데이터를 사용할 수 없으면 대시(-)가 표시됩니다. |
| Latency (avg.) | 호출당 평균 엔드투엔드 지연 시간입니다. |
| Error rate | 오류를 반환한 호출의 비율입니다. 0%보다 크면 빨간색으로 표시됩니다. |
에이전트 찾기 및 정렬
- Last seen: 가장 최근에 활동한 에이전트가 먼저 표시됩니다.
- Most invocations: 호출 수가 가장 많은 에이전트가 먼저 표시됩니다.
- Most input tokens: 입력 토큰 사용량이 가장 많은 에이전트가 먼저 표시됩니다.
- Most errors: 오류 수가 가장 많은 에이전트가 먼저 표시됩니다.
Conversations tab
대화 테이블
| 열 | 설명 |
|---|---|
| 대화 | 대화 ID와 첫 번째 메시지의 미리보기입니다. |
| 마지막 메시지 | 가장 최근 메시지의 미리보기와 역할 표시기입니다. |
| Spans | 기록된 span의 총 개수이며, 색상으로 구분된 막대(아래 설명 참조)와 함께 표시됩니다. span 수가 많을수록 분기가 많거나 도구 사용이 더 많음을 의미합니다. |
| 태그 | 대화에 적용된 시그널 태그와 평점입니다. |
| 에이전트 | 참여한 에이전트의 이름입니다. |
| 호출 수 | 대화 중 에이전트가 호출된 횟수입니다. |
| 입력 토큰 | 사용된 입력 토큰 수입니다. |
| 출력 토큰 | 생성된 출력 토큰 수입니다. |
| 비용 | 대화의 총 비용입니다. |
| 시작 시각 | 대화가 시작된 시점입니다. |
| 마지막 활동 | 마지막 메시지가 기록된 시점으로부터 경과한 시간입니다. |
필터 및 시간 창
에이전트 대화 세부정보
턴
메시지
- 에이전트 이름과 사용된 모델(예:
gpt-5.5-2026-04-23). - 타임스탬프 및 소요 시간.
- 입력 및 출력 token 수와 비용(예:
18823 in · 96 out · $0.0717). - 모델이 확장 추론을 사용한 경우 펼칠 수 있는 추론 섹션.
- 응답 텍스트(긴 응답은 자동으로 접힘).
오류 상태
이벤트
| 색상 | 이벤트 유형 |
|---|---|
| 보라색 | 사용자 메시지 |
| 초록색 | 응답 메시지 |
| 파란색 | 도구 Call |
| 시에나색 | 하위 에이전트 호출 |
| 마젠타색 | 에이전트 핸드오프 |
| 회색 | 컨텍스트 압축 |
| 빨간색 | 오류를 반환한 모든 이벤트 |
Scores
메타 요약
| 필드 | 설명 |
|---|---|
| 토큰 | 총 입력 및 출력 토큰 수입니다. |
| 비용 | 대화의 총 비용입니다. |
| 도구 Call | 모든 턴의 도구 Call 수입니다. |
| 메시지 | 총 메시지 수입니다. |
| 대화 시간 | 첫 번째 메시지부터 마지막 메시지까지의 실제 경과 시간입니다. |
| 턴 페이지 | 현재 표시된 턴과 전체 턴 수입니다. |
Token 세부 내역
| Field | 설명 |
|---|---|
| 캐시 조회 | 프롬프트 캐시에서 제공된 Token 수입니다. |
| 캐시 기록 | 프롬프트 캐시에 기록된 Token 수입니다. |
| 캐시 적중률 | 캐시에서 제공된 입력 Token의 비율입니다. 이 비율이 높을수록 비용과 지연 시간이 줄어듭니다. |
| 추론 | 확장된 사고에 사용된 Token 수입니다. |
| 추론 비율 | 확장된 사고에 사용된 출력 Token의 비율입니다. |
Participants
에이전트 메시지를 데이터셋에 추가하기
Dataset에 추가하려면 다음 단계를 따르세요.
- 대화 세부 정보 패널 헤더에서 Add to dataset를 클릭해 Add example to dataset 드로어를 엽니다.
- Choose a dataset에서 드롭다운을 사용해 트레이스를 추가할 데이터셋을 선택합니다.
- Select context에서 데이터셋에 추가할 메시지를 선택합니다. Next를 클릭합니다.
- 선택한 내용을 검토한 다음 Add to dataset를 클릭합니다.
Spans 탭
Spans 테이블
| Column | 설명 |
|---|---|
| Span | span 이름과 ID가 표시되며, 그 아래에 trace ID가 표시됩니다. |
| Kind | 이 오퍼레이션의 OpenTelemetry span kind입니다(INTERNAL, SERVER, CLIENT 등). |
| Operation | 오퍼레이션 유형입니다(chat, execute_tool, invoke_agent 등). |
| Ratings & Tags | span에 적용된 시그널 평점과 tags입니다. |
| Finish | 모델이 반환한 종료 사유입니다(stop, max_tokens 등). 종료 사유를 보고하는 chat span에만 채워집니다. |
| Error type | span에서 오류가 발생한 경우 반환된 오류 유형입니다. |
- 비용이 많이 드는 Call 파악. In 또는 Out token 기준으로 정렬해, 대화 수준의 총합이 아니라 비용을 유발하는 개별 LLM calls를 찾으세요.
- 특정 오퍼레이션 유형 디버깅. Operation으로 필터링해
모든
execute_toolspan만 분리하여 오류율을 확인하거나, 특정 모델의 모든chatspan을 확인하세요. - 잘림 조사. Finish를
max_tokens로 필터링해 모델이 정상적으로 완료된 것이 아니라 token 한도에 도달한 span을 찾으세요. - W&B run과 연결하기. 기본적으로 숨겨진 열을 통해 W&B run ID와 run step을 확인할 수 있으므로, 특정 span을 W&B의 트레이닝 또는 Evaluation run에 연결할 수 있습니다.
트레이스 그룹
에이전트 호출 세부 정보
- 가장 오래 걸린 오퍼레이션을 한눈에 파악합니다. 너비가 넓은 막대는 전체 지연 시간의 대부분을 차지한 span을 나타냅니다.
- 병렬성을 확인합니다. 막대가 겹치면 해당 span이 순차적으로가 아니라 동시에 실행되었음을 나타냅니다.
- 모든 span을 인라인으로 검사합니다. 타임라인에서 막대를 클릭하면 해당 span의 세부 정보가 뷰에 로드되며, 입력 메시지와 출력 메시지, token 수 및 기타 메타데이터가 포함됩니다.
