메인 콘텐츠로 건너뛰기
이 문서는 대화형 노트북입니다. 로컬에서 실행하거나 다음 링크를 이용할 수 있습니다:
이 노트북에서는 평가 결과를 바탕으로 LLM 프롬프트를 가장 적합한 모델로 라우팅할 수 있도록 Weave를 Not Diamond의 맞춤형 라우팅과 함께 사용하는 방법을 보여줍니다. 이 노트북을 마치면 코딩 프롬프트용 맞춤형 라우터를 트레이닝하고, 이를 사용해 새 프롬프트에 맞는 대상 모델을 선택하며, 그 성능을 가장 우수한 개별 모델과 비교해 평가하게 됩니다.

​
프롬프트 라우팅

이 섹션에서는 여러 LLM으로 작업할 때 맞춤형 라우팅이 왜 유용한지 설명합니다. 복잡한 LLM 워크플로를 구축할 때는 정확도, 비용, 또는 call 지연 시간에 따라 서로 다른 모델에 프롬프트를 보내야 할 수 있습니다. Not Diamond를 사용하면 이러한 워크플로에서 프롬프트를 필요에 맞는 적절한 모델로 라우팅하여, 모델 비용을 절감하면서 정확도를 극대화할 수 있습니다. 주어진 데이터 분포에서 단일 모델 하나가 모든 쿼리에서 다른 모든 모델보다 항상 더 뛰어난 성능을 내는 경우는 드뭅니다. 각 LLM을 언제 call할지 학습하는 “메타 모델”로 여러 모델을 결합하면, 개별 모델 각각의 성능을 모두 뛰어넘을 수 있을 뿐 아니라 그 과정에서 비용과 지연 시간도 줄일 수 있습니다.

​
맞춤형 라우팅

프롬프트에 사용할 맞춤형 라우터를 트레이닝하려면 다음 입력이 필요합니다.
  1. LLM 프롬프트 세트: 프롬프트는 strings여야 하며, 애플리케이션에서 사용하는 프롬프트를 잘 대표할 수 있어야 합니다.
  2. LLM 응답: 각 입력에 대해 후보 LLM이 생성한 응답입니다. 후보 LLM에는 지원되는 LLM과 자체 맞춤형 모델이 모두 포함될 수 있습니다.
  3. 후보 LLM의 입력별 응답에 대한 평가 점수: 점수는 숫자이며, 요구 사항에 맞는 어떤 metric이든 사용할 수 있습니다.
이 항목들을 Not Diamond API에 제출하면 각 워크플로에 맞게 조정된 맞춤형 라우터를 트레이닝할 수 있습니다.

​
트레이닝 데이터 설정

이 섹션에서는 맞춤형 라우터가 학습할 트레이닝 데이터와 테스트 데이터를 준비합니다. 실제로는 자체 Evaluations를 사용해 맞춤형 라우터를 트레이닝합니다. 하지만 이 예시 노트북에서는 코딩 작업용 맞춤형 라우터를 트레이닝하기 위해 HumanEval 데이터셋에 대한 LLM 응답을 사용합니다. 먼저 이 예제를 위해 준비된 데이터셋을 다운로드한 다음, LLM 응답을 각 모델의 EvaluationResults로 파싱합니다. 이렇게 분리한 트레이닝 데이터와 테스트 데이터는 이후 섹션에서 라우터를 트레이닝하고 표본 외 성능을 평가하는 데 사용됩니다. 
!curl -L "https://drive.google.com/uc?export=download&id=1q1zNZHioy9B7M-WRjsJPkfvFosfaHX38" -o humaneval.csv
python
import random

import weave
from weave.flow.dataset import Dataset
from weave.flow.eval import EvaluationResults
from weave.integrations.notdiamond.util import get_model_evals

pct_train = 0.8
pct_test = 1 - pct_train

# 실제로는 데이터셋에 대한 Evaluation을 구축하고
# `evaluation.get_eval_results(model)`을 호출합니다.
model_evals = get_model_evals("./humaneval.csv")
model_train = {}
model_test = {}
for model, evaluation_results in model_evals.items():
    n_results = len(evaluation_results.rows)
    all_idxs = list(range(n_results))
    train_idxs = random.sample(all_idxs, k=int(n_results * pct_train))
    test_idxs = [idx for idx in all_idxs if idx not in train_idxs]

    model_train[model] = EvaluationResults(
        rows=weave.Table([evaluation_results.rows[idx] for idx in train_idxs])
    )
    model_test[model] = Dataset(
        rows=weave.Table([evaluation_results.rows[idx] for idx in test_idxs])
    )
    print(
        f"Found {len(train_idxs)} train rows and {len(test_idxs)} test rows for {model}."
    )

​
맞춤형 라우터 트레이닝하기

이제 EvaluationResults가 준비되었으니 이를 Not Diamond에 제출해 맞춤형 라우터를 트레이닝할 수 있습니다. 먼저 계정을 생성하고 API 키를 생성한 다음, 아래 코드에 API 키를 입력하세요. API 키는 트레이닝 요청을 인증합니다.
API 키 생성
import os

from weave.integrations.notdiamond.custom_router import train_router

api_key = os.getenv("NOTDIAMOND_API_KEY", "<YOUR_API_KEY>")

preference_id = train_router(
    model_evals=model_train,
    prompt_column="prompt",
    response_column="actual",
    language="en",
    maximize=True,
    api_key=api_key,
    # 처음 맞춤형 라우터를 트레이닝할 때는 이 줄을 주석 처리된 상태로 두세요
    # 맞춤형 라우터를 제자리에서 재트레이닝하려면 주석을 해제하세요
    # preference_id=preference_id,
)
그런 다음 Not Diamond 앱에서 맞춤형 라우터 트레이닝을 진행할 수 있습니다.
라우터 트레이닝 진행 상황
맞춤형 라우터의 트레이닝이 완료되면 이를 사용해 프롬프트를 라우팅할 수 있습니다. 
from notdiamond import NotDiamond

import weave

weave.init("notdiamond-quickstart")

llm_configs = [
    "anthropic/claude-3-5-sonnet-20240620",
    "openai/gpt-4o-2024-05-13",
    "google/gemini-1.5-pro-latest",
    "openai/gpt-4-turbo-2024-04-09",
    "anthropic/claude-3-opus-20240229",
]
client = NotDiamond(api_key=api_key, llm_configs=llm_configs)

new_prompt = (
    """
You are a helpful coding assistant. Using the provided function signature, write the implementation for the function
in Python. Write only the function. Do not include any other text.

from typing import List

def has_close_elements(numbers: List[float], threshold: float) -> bool:
    """
    """ Check if in given list of numbers, are any two numbers closer to each other than
    given threshold.
    >>> has_close_elements([1.0, 2.0, 3.0], 0.5)
    False
    >>> has_close_elements([1.0, 2.8, 3.0, 4.0, 5.0, 2.0], 0.3)
    True
    """
    """
"""
)
session_id, routing_target_model = client.model_select(
    messages=[{"role": "user", "content": new_prompt}],
    preference_id=preference_id,
)

print(f"Session ID: {session_id}")
print(f"Target Model: {routing_target_model}")
이 예제에서는 Not Diamond의 Weave 자동 트레이싱 호환성도 활용했습니다. 결과는 Weave UI에서 확인할 수 있습니다. 맞춤형 라우팅용 Weave UI

​
맞춤형 라우터 평가하기

이 섹션에서는 맞춤형 라우터가 가장 성능이 좋은 개별 모델보다 더 나은지 측정하는 방법을 설명합니다. 맞춤형 라우터를 트레이닝한 후에는 다음 방법 중 하나로 성능을 평가할 수 있습니다:
  • 트레이닝 프롬프트를 제출해 인샘플 성능을 평가합니다.
  • 새 프롬프트 또는 홀드아웃 프롬프트를 제출해 아웃오브샘플 성능을 평가합니다.
다음 예시에서는 테스트 세트를 맞춤형 라우터에 제출해 성능을 평가합니다. 
from weave.integrations.notdiamond.custom_router import evaluate_router

eval_prompt_column = "prompt"
eval_response_column = "actual"

best_provider_model, nd_model = evaluate_router(
    model_datasets=model_test,
    prompt_column=eval_prompt_column,
    response_column=eval_response_column,
    api_key=api_key,
    preference_id=preference_id,
)
python
@weave.op()
def is_correct(score: int, output: dict) -> dict:
    # 이미 모델 응답이 있으므로 score를 편법으로 처리합니다
    return {"correct": score}

best_provider_eval = weave.Evaluation(
    dataset=best_provider_model.model_results.to_dict(orient="records"),
    scorers=[is_correct],
)
await best_provider_eval.evaluate(best_provider_model)

nd_eval = weave.Evaluation(
    dataset=nd_model.model_results.to_dict(orient="records"), scorers=[is_correct]
)
await nd_eval.evaluate(nd_model)
이 경우 Not Diamond “메타 모델”은 여러 다른 모델에 프롬프트를 라우팅합니다. Weave를 통해 맞춤형 라우터를 트레이닝하면 평가도 실행되고 결과가 Weave UI에 업로드됩니다. 맞춤형 라우터 프로세스가 완료되면 Weave UI에서 결과를 검토할 수 있습니다. UI에서는 Not Diamond “메타 모델”이 프롬프트에 정확하게 답변할 가능성이 더 높은 다른 모델로 프롬프트를 라우팅하여, 가장 성능이 좋은 모델보다 더 뛰어난 성능을 보이는 것을 확인할 수 있습니다.
Not Diamond 평가