> ## Documentation Index
> Fetch the complete documentation index at: https://docs.wandb.ai/llms.txt
> Use this file to discover all available pages before exploring further.

# Compare evaluations

> 두 개 이상의 평가를 시각적으로 비교하여 run 전반에서 회귀, 개선, 점수 차이를 파악합니다

W\&B Weave의 **Compare evaluations** 뷰에서는 로깅된 평가 두 개 이상을 나란히 비교해 살펴볼 수 있습니다. 프롬프트, 모델 또는 Scorer를 변경할 때 run 간에 메트릭이 어떻게 달라지는지 확인하고, 결과를 바탕으로 결론을 내리기 전에 데이터셋이나 Scorer의 불일치를 포착하는 데 활용하세요.

이 가이드는 Weave UI에서 로깅된 평가를 비교하려는 Weave 사용자를 위한 문서입니다. **Compare evaluations** 뷰를 여는 방법, 요약 차트와 결과 테이블에 표시되는 내용, 그리고 베이스라인 설정, 평가 순서 변경, 비교에서 평가 제거를 포함해 비교를 원하는 방식으로 조정할 때 수행할 수 있는 작업을 다룹니다.

<div id="access-the-compare-evaluations-view">
  ## Compare 평가 뷰에 액세스하기
</div>

Compare 평가 뷰를 열려면 다음 단계를 따르세요.

1. Weave 프로젝트 사이드바에서 **Evals**를 선택합니다.
2. 평가 테이블에서 비교하려는 평가 두 개 이상에 대한 체크박스를 선택합니다.
3. 평가 테이블 툴바에서 **Compare**를 선택합니다.

<Frame>
  <img src="https://mintcdn.com/wb-21fd5541/DfptAvSS0cJ1VmPo/weave/guides/evaluation/img/eval-compare-select.png?fit=max&auto=format&n=DfptAvSS0cJ1VmPo&q=85&s=e45155378ada64109471343a56d5a125" alt="세 개의 평가가 선택된 평가 테이블입니다. 평가 테이블 툴바에서 Compare 액션이 강조 표시되어 있습니다." width="1359" height="573" data-path="weave/guides/evaluation/img/eval-compare-select.png" />
</Frame>

**Compare 평가** 뷰가 열리면 선택한 각 평가가 페이지 상단의 *비교 막대*에 토큰으로 표시됩니다. 기본적으로 가장 왼쪽의 평가가 베이스라인이 되며, 다른 각 평가는 이를 기준으로 비교됩니다.

<div id="review-the-comparison">
  ## 비교 결과 검토
</div>

Compare 평가 뷰에는 두 개의 탭이 있습니다:

* **Summary**: 비교 중인 평가의 각 메트릭에 대한 집계 차트가 표시되고, 그 아래에 속성 및 메트릭 테이블이 이어집니다.
* **Dataset results**: 출력을 행별로 비교할 수 있는 예시별 결과 테이블과, 두 평가를 비교할 때 차이를 파악할 수 있는 산점도가 제공됩니다.

<Frame>
  <img src="https://mintcdn.com/wb-21fd5541/DfptAvSS0cJ1VmPo/weave/guides/evaluation/img/eval-compare.png?fit=max&auto=format&n=DfptAvSS0cJ1VmPo&q=85&s=ac18f3f64f29f0e6cc006050757fd701" alt="세 개의 평가를 비교하는 Compare 평가 뷰입니다. Summary 탭에는 상단에 집계 차트가 표시되고 하단에 속성 및 메트릭 테이블이 표시됩니다." width="1377" height="955" data-path="weave/guides/evaluation/img/eval-compare.png" />
</Frame>

<div id="summary-tab">
  ### Summary 탭
</div>

**Summary** 탭은 기본적으로 열립니다. 이 탭에는 두 개의 영역이 있습니다.

* **Charts**: 비교된 평가 전반의 모든 메트릭 값을 표시하는 레이더 차트와, 이어서 메트릭별 차트(숫자 메트릭의 경우 막대 차트, 통과/실패 메트릭의 경우 커버리지 차트)가 표시됩니다.
* **Properties and metrics table**: 차트 아래에 있는 표로, 각 평가의 설정과 집계 점수를 나열합니다.

속성 및 메트릭 표에는 비교된 각 평가에 대해 다음 정보가 표시됩니다.

* **Evaluation**: 평가 ID입니다.
* **Model**: 평가에서 점수화한 모델 버전입니다.
* **Dataset**: 평가를 실행하는 데 사용된 데이터셋 버전입니다.
* **Properties**: 평가에 기록된 추가 속성입니다.
* **Metrics**: 평가의 Scorer가 생성한 각 메트릭의 집계 값입니다.

숫자 메트릭의 경우, 베이스라인과의 차이가 값 옆에 색상 배지로 표시됩니다. 색상은 해당 메트릭에서 변화가 유리한 방향인지 불리한 방향인지를 나타냅니다. 기본적으로 값이 높을수록 더 좋은 것으로 간주되므로 녹색 배지는 증가를, 빨간색 배지는 감소를 나타냅니다. 낮을수록 더 좋도록 설정된 메트릭의 경우에는 색상이 반대로 표시됩니다.

비교된 모든 평가에서 동일한 속성과 메트릭을 숨기려면 **Diff only**를 켜세요.

Weave는 비교를 해석하는 방식에 영향을 줄 수 있는 차이를 감지하면 표에 인라인 경고를 표시합니다.

* **Dataset inconsistency detected**: 비교된 평가 간에 데이터셋이 다릅니다. 집계 메트릭은 직접 비교할 수 없을 수 있으며, Dataset results 탭은 데이터셋 교집합에 포함된 예시로 제한됩니다.
* **Scoring inconsistency detected**: 비교된 평가 간에 Scorer가 다릅니다. 평가마다 점수화 로직이 다르므로 결과를 주의해서 비교하세요.

Weave는 요약을 간결하게 유지하기 위해 비교된 모든 평가에 공통으로 존재하지 않는 점수 필드도 숨깁니다. 필드가 숨겨진 경우, 뷰 상단의 정보 배너에 그 개수가 표시됩니다. 어떤 필드를 표시할지 선택하려면 **Manage fields**를 선택하세요.

<div id="dataset-results-tab">
  ### Dataset results 탭
</div>

선택한 평가들에서 개별 데이터셋 예시를 비교하려면 **Dataset results**를 선택하세요. 각 행은 하나의 데이터셋 예시에 해당하며, 데이터셋 입력과 함께 각 평가의 출력 및 Scorer 메트릭을 표시하므로 특정 예시에서 어디서 차이가 나는지 확인할 수 있습니다. 행을 선택하면 나란히 비교하는 상세 뷰가 열립니다.

정확히 두 개의 평가를 비교하면 이 탭은 표 위에 두 개의 산점도를 표시합니다. 각 플롯에서 점 하나는 데이터셋 예시 하나를 나타내며, 두 평가에서의 메트릭 값에 따라 위치가 정해지므로 평가 간 차이가 나는 예시가 눈에 띄게 표시됩니다. 점들이 있는 영역을 선택(brush)하여 표에 표시되는 예시를 필터링하고, 각 플롯의 **Dimension** 메뉴를 사용해 어떤 메트릭을 표시할지 선택하세요.

Dataset results 탭을 사용하려면 비교하는 평가들이 데이터셋 행을 공유해야 합니다. 해당 데이터셋들에 공통 행이 없으면 결과 표가 표시되지 않습니다.

<div id="customize-the-compare-evaluations-view">
  ## Compare evaluations 뷰 사용자 지정
</div>

Compare evaluations 뷰에서는 평가의 정렬 순서와 비교에 포함할 평가를 조정할 수 있습니다. 다음 섹션에서는 사용 가능한 작업을 설명합니다.

<div id="set-a-baseline">
  ### 베이스라인 설정
</div>

기본적으로 비교 막대에서 가장 왼쪽에 있는 평가가 베이스라인이며, 다른 모든 평가는 이를 기준으로 비교됩니다. 모든 비교의 기준점으로 특정 평가를 사용하려면 다른 평가를 베이스라인으로 지정할 수 있습니다.

평가를 베이스라인으로 설정하려면 다음 단계를 따르세요.

1. 비교 막대에서 베이스라인으로 설정하려는 평가 위에 포인터를 올리세요.

2. ID 오른쪽에 있는 **액션 (<Icon icon="ellipsis-vertical" iconType="solid" />)** 메뉴를 클릭합니다.

   <Frame>
     <img src="https://mintcdn.com/wb-21fd5541/DfptAvSS0cJ1VmPo/weave/guides/evaluation/img/comparison-evals-baseline.png?fit=max&auto=format&n=DfptAvSS0cJ1VmPo&q=85&s=48721d7ebc00f45e0d50dfa80509e500" alt="비교 막대에서 선택한 평가의 Make baseline 옵션을 보여주는 Compare evaluations 뷰." width="1086" height="250" data-path="weave/guides/evaluation/img/comparison-evals-baseline.png" />
   </Frame>

3. 목록에서 **Make baseline**을 선택합니다. UI가 새로고침되면 비교 막대의 가장 왼쪽에 베이스라인 평가가 표시되고, ID 옆에 `Baseline`이 표시됩니다.

   <Frame>
     <img src="https://mintcdn.com/wb-21fd5541/DfptAvSS0cJ1VmPo/weave/guides/evaluation/img/comparison-evals-baseline-set.png?fit=max&auto=format&n=DfptAvSS0cJ1VmPo&q=85&s=c4a9c5c2151917ef60130847375b8f02" alt="비교 막대의 가장 왼쪽에 선택한 베이스라인 평가가 표시된 Compare evaluations 뷰." width="1091" height="164" data-path="weave/guides/evaluation/img/comparison-evals-baseline-set.png" />
   </Frame>

<div id="change-the-comparison-order">
  ### 비교 순서 변경
</div>

비교 막대에서 평가를 끌어 순서를 변경하세요. 그러면 비교 테이블의 해당 열 순서도 함께 바뀝니다.

비교 순서를 변경하려면 다음과 같이 하세요.

1. 비교 막대에서 순서를 변경하려는 ID 위에 포인터를 올리세요.
2. ID 왼쪽의 점 6개를 클릭한 채 필요에 따라 왼쪽이나 오른쪽으로 드래그하세요.
3. 원하는 순서에 ID를 놓으세요. 업데이트된 비교 순서에 맞춰 비교 데이터가 새로 고쳐집니다.

<div id="remove-from-comparison">
  ### 비교에서 제거
</div>

이 옵션은 세 개 이상의 평가를 비교할 때만 사용할 수 있습니다.

비교에서 평가를 제거하려면 다음을 수행하세요.

1. 비교 막대에서 제거하려는 평가를 찾습니다.
2. ID 오른쪽에 있는 **액션 (<Icon icon="ellipsis-vertical" iconType="solid" />)** 메뉴를 클릭합니다.
3. 목록에서 **비교에서 제거**를 선택합니다. 제거한 평가가 더 이상 포함되지 않은 업데이트된 테이블로 UI가 새로 고쳐집니다.