メインコンテンツへスキップ
これらの例では、トレース、評価、比較のために、Weave で Serverless Inference を使用する方法を紹介します。各例を順に試すことで、モデルの Call を計装してその動作を観察し、データセットに対するパフォーマンスを測定し、複数のモデルを並べて比較する方法を学べます。 以下のセクションでは、基本的なトレースの例と、より高度な評価ワークフローを順に説明します。どちらの例を実行する前にも、前提条件 を完了してください。

​
基本例: Llama 3.1 8B を Weave でトレースする

この例では、Llama 3.1 8B モデルにプロンプトを送信し、その call を Weave でトレースする方法を示します。トレースでは、LLM call の入力と出力を完全に取得し、パフォーマンスを監視して、Weave UI で結果を分析できます。
Weave のトレースの詳細をご覧ください。
この例では、次のことを行います。
  • Chat Completion リクエストを行う @weave.op() デコレータ付きの関数を定義します。
  • Weave がトレースを記録し、W&B の entity と project にリンクします。
  • Weave が関数を自動的にトレースし、入力、出力、レイテンシ、メタデータをログします。
  • 結果はターミナルに出力され、トレースは https://wandb.ai の トレース タブに表示されます。
import weave
import openai

# トレース用の Weave チームとプロジェクトを設定する
weave.init("[YOUR-TEAM]/[YOUR-PROJECT]")

client = openai.OpenAI(
    base_url='https://api.inference.wandb.ai/v1',

    # https://wandb.ai/settings で API キーを作成する
    api_key="[YOUR-API-KEY]",

    # オプション: 使用状況トラッキング用のチームとプロジェクト
    project="wandb/inference-demo",
)

# Weave でモデルの call をトレースする
@weave.op()
def run_chat():
    response = client.chat.completions.create(
        model="meta-llama/Llama-3.1-8B-Instruct",
        messages=[
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": "Tell me a joke."}
        ],
    )
    return response.choices[0].message.content

# トレースされた call を実行してログする
output = run_chat()
print(output)
コードを実行したら、次のいずれかの方法で Weave のトレースを表示できます。
  • ターミナルに出力されたリンクをクリックします。たとえば、https://wandb.ai/[YOUR-TEAM]/[YOUR-PROJECT]/r/call/01977f8f-839d-7dda-b0c2-27292ef0e04g。
  • https://wandb.ai にアクセスして トレース タブを選択します。
基本的なトレースが動作したら、個々の call を確認するだけでなく、より高度な workflow に進むことができます。

​
高度な例: Weave 評価とリーダーボードを使用する

モデルのcallのトレースに加えて、パフォーマンスを評価し、リーダーボードを公開できます。この例では、質問応答データセット上で2つのモデルを比較し、同じプロンプトに対して Llama 3.1 8B と DeepSeek-V3 がどのようなパフォーマンスを示すかを確認します。 
import os
import asyncio
import openai
import weave
from weave.flow import leaderboard
from weave.trace.ref_util import get_ref

# トレース用の Weave チームとプロジェクトを設定する
weave.init("[YOUR-TEAM]/[YOUR-PROJECT]")

dataset = [
    {"input": "What is 2 + 2?", "target": "4"},
    {"input": "Name a primary color.", "target": "red"},
]

@weave.op
def exact_match(target: str, output: str) -> float:
    return float(target.strip().lower() == output.strip().lower())

class WBInferenceModel(weave.Model):
    model: str

    @weave.op
    def predict(self, prompt: str) -> str:
        client = openai.OpenAI(
            base_url="https://api.inference.wandb.ai/v1",
            # https://wandb.ai/settings で APIキーを作成する
            api_key="[YOUR-API-KEY]",
            # オプション: 使用状況トラッキング用のチームとプロジェクト
            project="[YOUR-TEAM]/[YOUR-PROJECT]",
        )
        resp = client.chat.completions.create(
            model=self.model,
            messages=[{"role": "user", "content": prompt}],
        )
        return resp.choices[0].message.content

llama = WBInferenceModel(model="meta-llama/Llama-3.1-8B-Instruct")
deepseek = WBInferenceModel(model="deepseek-ai/DeepSeek-V3-0324")

def preprocess_model_input(example):
    return {"prompt": example["input"]}

evaluation = weave.Evaluation(
    name="QA",
    dataset=dataset,
    scorers=[exact_match],
    preprocess_model_input=preprocess_model_input,
)

async def run_eval():
    await evaluation.evaluate(llama)
    await evaluation.evaluate(deepseek)

asyncio.run(run_eval())

spec = leaderboard.Leaderboard(
    name="Inference Leaderboard",
    description="Compare models on a QA dataset",
    columns=[
        leaderboard.LeaderboardColumn(
            evaluation_object_ref=get_ref(evaluation).uri(),
            scorer_name="exact_match",
            summary_metric_path="mean",
        )
    ],
)

weave.publish(spec)
このコードを実行したら、https://wandb.ai/ の W&B アカウントにアクセスし、次の操作を行います。
モデルの評価を確認
リーダーボードを確認
両方の例を完了すると、トレースされたモデルの Call、公開された評価、およびデータセット上でモデルを比較するリーダーボードが揃います。

​
次のステップ

Serverless Inference の探索を続けるには、次を試してください。
  • 利用可能なすべての method は、API リファレンスで確認してください。
  • UIでモデルを試してください。