thoughtful philosophy wheels 둘둘둘둘둘둘둘둘둘둘둘둘둘둘둘둘둘둘둘둘둘둘둘둘둘둘둘둘둘Datasets 의 열 매핑하기

Python
TypeScript

Weave Python SDK에서는 scorer의 column_map 속성을 사용하여 scorer가 기대하는 파라미터 이름을 데이터셋의 컬럼 이름에 매핑합니다. 매핑 형식은 {scorer_parameter: dataset_column}입니다.다음 예시는 output과 target 파라미터를 데이터셋의 model_output과 answer 컬럼에 매핑하는 방법을 보여줍니다:

from weave.scorers import EmbeddingSimilarityScorer

similarity_scorer = EmbeddingSimilarityScorer()

similarity_scorer.column_map = {
    "output": "model_output",  # 모델이 생성한 텍스트
    "target": "answer"         # 기대값 또는 참조 응답
}

scorer 컬럼 매핑에 대한 자세한 내용은 Mapping Column Names with column_map을 참조하세요.

Weave TypeScript SDK에서는 개별 scorer가 아닌 Evaluation 오브젝트의 columnMapping 옵션을 사용하여 컬럼 매핑을 구성합니다. 매핑 형식은 {scorer_key: dataset_column}입니다.다음 예시는 (scorer에서 사용하는) expectedOutputTimesTwo를 데이터셋의 expected 컬럼에 매핑합니다:

import * as weave from 'weave';

const myScorer = weave.op(
  ({modelOutput, datasetRow}) => {
    return modelOutput * 2 === datasetRow.expectedOutputTimesTwo;
  },
  {name: 'myScorer'}
);

const myEval = new weave.Evaluation({
  id: 'my-evaluation',
  dataset: [{expected: 2}],
  scorers: [myScorer],
  columnMapping: {expectedOutputTimesTwo: 'expected'},
});

TypeScript scorer 인수에 대한 자세한 내용은 Scorer Keyword Arguments를 참조하세요.

속성 정의 및 로그 생성

Evaluations에서 동적 Leaderboards 생성하기

⌘I

Get Started

Guides

Cookbooks

Reference

Open Source

Community

thoughtful philosophy wheels 둘둘둘둘둘둘둘둘둘둘둘둘둘둘둘둘둘둘둘둘둘둘둘둘둘둘둘둘둘Datasets 의 열 매핑하기