자주 묻는 질문 (FAQs)

from weave import Model, Evaluation, Scorer, Dataset
from weave.flow.model import ApplyModelError, apply_model_async

class ModelA(Model):
    @weave.op
    def predict(self, input_text: str):
        if "Prefer model A" in input_text:
            return {"response": "This is a great answer from Model A"}
        return {"response": "Meh, whatever"}

class ModelB(Model):
    @weave.op
    def predict(self, input_text: str):
        if "Prefer model B" in input_text:
            return {"response": "This is a thoughtful answer from Model B"}
        return {"response": "I don't know"}

class PreferenceScorer(Scorer):
    @weave.op
    async def _get_other_model_output(self, example: dict) -> Any:
        """비교를 위해 다른 모델로부터 출력을 가져옵니다.
        인수:
            example: 다른 모델을 통해 실행할 입력 예시 데이터
        반환:
            다른 모델의 출력
        """

        other_model_result = await apply_model_async(
            self.other_model,
            example,
            None,
        )

        if isinstance(other_model_result, ApplyModelError):
            return None

        return other_model_result.model_output

    @weave.op
    async def score(self, output: dict, input_text: str) -> dict:
        """기본 모델의 출력과 다른 모델의 출력을 비교합니다.
        인수:
            output (dict): 기본 모델의 출력.
            input_text (str): 출력을 생성하는 데 사용된 입력 텍스트.
        반환:
            dict: 비교 결과와 이유를 포함하는 평탄한 사전(flat dictionary).
        """
        other_output = await self._get_other_model_output(
            {"input_text": input_text}
        )
        if other_output is None:
            return {"primary_is_better": False, "reason": "Other model failed"}

        if "Prefer model A" in input_text:
            primary_is_better = True
            reason = "Model A gave a great answer"
        else:
            primary_is_better = False
            reason = "Model B is preferred for this type of question"

        return {"primary_is_better": primary_is_better, "reason": reason}

dataset = Dataset(
    rows=[
        {"input_text": "Prefer model A: Question 1"},  # 모델 A 승리
        {"input_text": "Prefer model A: Question 2"},  # 모델 A 승리
        {"input_text": "Prefer model B: Question 3"},  # 모델 B 승리
        {"input_text": "Prefer model B: Question 4"},  # 모델 B 승리
    ]
)

model_a = ModelA()
model_b = ModelB()
pref_scorer = PreferenceScorer(other_model=model_b)
evaluation = Evaluation(dataset=dataset, scorers=[pref_scorer])
evaluation.evaluate(model_a)