データセットの列を別名にマッピングする

Python
TypeScript

Weave Python SDK では、scorer の column_map 属性を使用して、scorer が想定するパラメーター名をデータセットの列名にマッピングします。マッピング形式は {scorer_parameter: dataset_column} です。次の例では、output パラメーターと target パラメーターを、データセットの model_output 列と answer 列にマッピングしています。

from weave.scorers import EmbeddingSimilarityScorer

similarity_scorer = EmbeddingSimilarityScorer()

similarity_scorer.column_map = {
    "output": "model_output",  # モデルが生成したテキスト
    "target": "answer"         # 期待される応答、または参照用の応答
}

scorer の列マッピングの詳細については、column_map を使った列名のマッピングを参照してください。

Weave TypeScript SDK では、列マッピングは個々の scorer ではなく、Evaluation オブジェクトの columnMapping オプションで設定します。マッピング形式は {scorer_key: dataset_column} です。次の例では、scorer で使用する expectedOutputTimesTwo を、データセット内の expected 列にマッピングしています。

import * as weave from 'weave';

const myScorer = weave.op(
  ({modelOutput, datasetRow}) => {
    return modelOutput * 2 === datasetRow.expectedOutputTimesTwo;
  },
  {name: 'myScorer'}
);

const myEval = new weave.Evaluation({
  id: 'my-evaluation',
  dataset: [{expected: 2}],
  scorers: [myScorer],
  columnMapping: {expectedOutputTimesTwo: 'expected'},
});

TypeScript の scorer 引数の詳細については、Scorer のキーワード引数を参照してください。

モデルを比較してランク付けする Evaluations で動的なリーダーボードを作成する

⌘I

Get Started

Guides

Cookbooks

Reference

Details & Support

データセットの列を別名にマッピングする