Compare evaluations

W&B Weave의 Compare evaluations 뷰에서는 로깅된 평가 두 개 이상을 나란히 비교해 살펴볼 수 있습니다. 프롬프트, 모델 또는 Scorer를 변경할 때 run 간에 메트릭이 어떻게 달라지는지 확인하고, 결과를 바탕으로 결론을 내리기 전에 데이터셋이나 Scorer의 불일치를 포착하는 데 활용하세요. 이 가이드는 Weave UI에서 로깅된 평가를 비교하려는 Weave 사용자를 위한 문서입니다. Compare evaluations 뷰를 여는 방법, 요약 차트와 결과 테이블에 표시되는 내용, 그리고 베이스라인 설정, 평가 순서 변경, 비교에서 평가 제거를 포함해 비교를 원하는 방식으로 조정할 때 수행할 수 있는 작업을 다룹니다.

Compare 평가 뷰에 액세스하기

Compare 평가 뷰를 열려면 다음 단계를 따르세요.

Weave 프로젝트 사이드바에서 Evals를 선택합니다.
평가 테이블에서 비교하려는 평가 두 개 이상에 대한 체크박스를 선택합니다.
평가 테이블 툴바에서 Compare를 선택합니다.

세 개의 평가가 선택된 평가 테이블입니다. 평가 테이블 툴바에서 Compare 액션이 강조 표시되어 있습니다.

Compare 평가 뷰가 열리면 선택한 각 평가가 페이지 상단의 비교 막대에 토큰으로 표시됩니다. 기본적으로 가장 왼쪽의 평가가 베이스라인이 되며, 다른 각 평가는 이를 기준으로 비교됩니다.

비교 결과 검토

Compare 평가 뷰에는 두 개의 탭이 있습니다:

Summary: 비교 중인 평가의 각 메트릭에 대한 집계 차트가 표시되고, 그 아래에 속성 및 메트릭 테이블이 이어집니다.
Dataset results: 출력을 행별로 비교할 수 있는 예시별 결과 테이블과, 두 평가를 비교할 때 차이를 파악할 수 있는 산점도가 제공됩니다.

Summary 탭

Summary 탭은 기본적으로 열립니다. 이 탭에는 두 개의 영역이 있습니다.

Charts: 비교된 평가 전반의 모든 메트릭 값을 표시하는 레이더 차트와, 이어서 메트릭별 차트(숫자 메트릭의 경우 막대 차트, 통과/실패 메트릭의 경우 커버리지 차트)가 표시됩니다.
Properties and metrics table: 차트 아래에 있는 표로, 각 평가의 설정과 집계 점수를 나열합니다.

속성 및 메트릭 표에는 비교된 각 평가에 대해 다음 정보가 표시됩니다.

Evaluation: 평가 ID입니다.
Model: 평가에서 점수화한 모델 버전입니다.
Dataset: 평가를 실행하는 데 사용된 데이터셋 버전입니다.
Properties: 평가에 기록된 추가 속성입니다.
Metrics: 평가의 Scorer가 생성한 각 메트릭의 집계 값입니다.

숫자 메트릭의 경우, 베이스라인과의 차이가 값 옆에 색상 배지로 표시됩니다. 색상은 해당 메트릭에서 변화가 유리한 방향인지 불리한 방향인지를 나타냅니다. 기본적으로 값이 높을수록 더 좋은 것으로 간주되므로 녹색 배지는 증가를, 빨간색 배지는 감소를 나타냅니다. 낮을수록 더 좋도록 설정된 메트릭의 경우에는 색상이 반대로 표시됩니다. 비교된 모든 평가에서 동일한 속성과 메트릭을 숨기려면 Diff only를 켜세요. Weave는 비교를 해석하는 방식에 영향을 줄 수 있는 차이를 감지하면 표에 인라인 경고를 표시합니다.

Dataset inconsistency detected: 비교된 평가 간에 데이터셋이 다릅니다. 집계 메트릭은 직접 비교할 수 없을 수 있으며, Dataset results 탭은 데이터셋 교집합에 포함된 예시로 제한됩니다.
Scoring inconsistency detected: 비교된 평가 간에 Scorer가 다릅니다. 평가마다 점수화 로직이 다르므로 결과를 주의해서 비교하세요.

Weave는 요약을 간결하게 유지하기 위해 비교된 모든 평가에 공통으로 존재하지 않는 점수 필드도 숨깁니다. 필드가 숨겨진 경우, 뷰 상단의 정보 배너에 그 개수가 표시됩니다. 어떤 필드를 표시할지 선택하려면 Manage fields를 선택하세요.

Dataset results 탭

선택한 평가들에서 개별 데이터셋 예시를 비교하려면 Dataset results를 선택하세요. 각 행은 하나의 데이터셋 예시에 해당하며, 데이터셋 입력과 함께 각 평가의 출력 및 Scorer 메트릭을 표시하므로 특정 예시에서 어디서 차이가 나는지 확인할 수 있습니다. 행을 선택하면 나란히 비교하는 상세 뷰가 열립니다. 정확히 두 개의 평가를 비교하면 이 탭은 표 위에 두 개의 산점도를 표시합니다. 각 플롯에서 점 하나는 데이터셋 예시 하나를 나타내며, 두 평가에서의 메트릭 값에 따라 위치가 정해지므로 평가 간 차이가 나는 예시가 눈에 띄게 표시됩니다. 점들이 있는 영역을 선택(brush)하여 표에 표시되는 예시를 필터링하고, 각 플롯의 Dimension 메뉴를 사용해 어떤 메트릭을 표시할지 선택하세요. Dataset results 탭을 사용하려면 비교하는 평가들이 데이터셋 행을 공유해야 합니다. 해당 데이터셋들에 공통 행이 없으면 결과 표가 표시되지 않습니다.