DSPy - Weights & Biases Documentation

このガイドでは、W&B を DSPy と組み合わせて言語モデルプログラムをトラッキングして最適化する方法を説明します。これにより、評価メトリクスをモニターし、最適化の過程でプログラムシグネチャがどのように変化するかを確認し、得られたプログラムを再現可能な artifact としてバージョン管理できます。コンパイル済みモジュールの実験管理と可観測性が必要な場合に使用してください。 W&B は、Weave DSPy インテグレーションを補完し、次の機能を提供します。

評価メトリクスの経時的なトラッキング
プログラムシグネチャの変化を確認するための W&B 表
MIPROv2 などの DSPy オプティマイザとのインテグレーション

DSPy モジュールの最適化時に包括的な可観測性を確保するには、W&B と Weave の両方でインテグレーションを有効にしてください。

注wandb==0.21.2 および weave==0.52.5 時点では、W&B と併用すると Weave は自動的に初期化されます。

weave を import してから wandb.init() を呼び出した場合 (スクリプトの場合)
wandb.init() を呼び出した後で weave を import した場合 (notebook/Jupyter の場合)

明示的に weave.init(...) を呼び出す必要はありません。

インストールと認証

必要なライブラリをインストールし、W&B にログインします。

コマンドライン
Python
ノートブック

必要なライブラリをインストールします。
pip install wandb weave dspy
WANDB_API_KEY 環境変数を設定して、ログインします。<your_api_key> は W&B APIキーに置き換えてください。
export WANDB_API_KEY=<your_api_key> wandb login

必要なライブラリをインストールします。
pip install wandb weave dspy
コード内で W&B にログインします。
import wandb wandb.login()

必要なライブラリをインストールしてインポートしてから、W&B にログインします。

!pip install wandb weave dspy

import wandb
wandb.login()

W&B は初めてですか？クイックスタートをご覧ください。ライブラリのインストールと認証が完了したら、DSPy の最適化 run をインストルメントする準備は完了です。

プログラムの最適化をトラッキングする (実験的)

dspy.Evaluate を使用する DSPy オプティマイザー (MIPROv2 など) の場合は、WandbDSPyCallback を使用して、評価メトリクスを経時的にログし、W&B 表でプログラムのシグネチャの変遷をトラッキングします。コールバックをアタッチすると、オプティマイザーのスコアがどのように変化するか、またプログラムのプロンプトやシグネチャが反復を通じてどのように変化していくかを確認できます。

import dspy
from dspy.datasets import MATH

import weave
import wandb
from wandb.integration.dspy import WandbDSPyCallback

# W&B を初期化する（weave をインポートするだけで十分。weave.init の明示的な呼び出しは不要）
project_name = "dspy-optimization"
with wandb.init(project=project_name) as run:
    # DSPy に W&B コールバックを追加する
    dspy.settings.callbacks.append(
        WandbDSPyCallback(run=run)
    )

    # 言語モデルを設定する
    teacher_lm = dspy.LM('openai/gpt-4o', max_tokens=2000, cache=True)
    student_lm = dspy.LM('openai/gpt-4o-mini', max_tokens=2000)
    dspy.configure(lm=student_lm)

    # データセットを読み込み、プログラムを定義する
    dataset = MATH(subset='algebra')
    program = dspy.ChainOfThought("question -> answer")

    # オプティマイザーを設定して実行する
    optimizer = dspy.MIPROv2(
        metric=dataset.metric,
        auto="light",
        num_threads=24,
        teacher_settings=dict(lm=teacher_lm),
        prompt_model=student_lm
    )

    optimized_program = optimizer.compile(
        program,
        trainset=dataset.train,
        max_bootstrapped_demos=2,
        max_labeled_demos=2
    )

このコードを実行すると、W&B Run URL と Weave URL の両方が取得されます。W&B には、時間の経過に伴う評価メトリクスに加えて、プログラムのシグネチャがどのように変化したかを示す Tables が表示されます。run の Overview タブには、詳細を確認するための Weave トレースへのリンクが含まれています。 run オブジェクトを WandbDSPyCallback に渡さない場合、コールバックはグローバルな run オブジェクトを使用します。

DSPy を使用した Weave トレース、評価、最適化の詳細については、Weave DSPy インテグレーションガイドを参照してください。

予測を W&B 表にログする

集計メトリクスに加えて、予測の詳細ログを有効にすると、最適化中に個々の例を確認できます。コールバックは評価ステップごとに W&B Table を作成するため、特定の成功例や失敗例を分析するのに役立ちます。

from wandb.integration.dspy import WandbDSPyCallback

# 予測のログを有効にする（デフォルトで有効）
callback = WandbDSPyCallback(log_results=True)
dspy.settings.callbacks.append(callback)

# 最適化を実行する
optimized_program = optimizer.compile(program, trainset=train_data)

# 必要に応じて予測のログを無効にする
# callback = WandbDSPyCallback(log_results=False)

予測データにアクセスする

最適化後、W&B で予測データを確認できます。

run の Overview ページにアクセスします。
predictions_0 や predictions_1 のような名前の Table パネルを探します。
失敗を分析するには、is_correct でフィルターします。
プロジェクトのワークスペースで、run 間の表を比較します。

各表には、次の列が含まれます。

example: 入力データ
prediction: モデルの出力
is_correct: 評価結果

詳細は、W&B Tables ガイドを参照してください。

DSPy プログラムを保存してバージョン管理する

高性能な最適化済みプログラムを特定したら、それを W&B Artifact として保存して、結果を再現できるようにし、経時的なバージョンを追跡します。完全なアーキテクチャが必要か、より軽量なチェックポイントで十分かに応じて、プログラム全体を保存するか、状態のみを保存するかを選択してください。

from wandb.integration.dspy import WandbDSPyCallback

# コールバックインスタンスを作成する
callback = WandbDSPyCallback()
dspy.settings.callbacks.append(callback)

# 最適化を実行する
optimized_program = optimizer.compile(program, trainset=train_data)

# 保存オプション:

# 1. 完全なプログラム（推奨）- アーキテクチャと状態を含む
callback.log_best_model(optimized_program, save_program=True)

# 2. JSONとして状態のみ保存 - 軽量で人間が読みやすい
callback.log_best_model(optimized_program, save_program=False, filetype="json")

# 3. pickleとして状態のみ保存 - Pythonオブジェクトを保持する
callback.log_best_model(optimized_program, save_program=False, filetype="pkl")

# バージョン管理用のカスタムaliasesを追加する
callback.log_best_model(
    optimized_program,
    save_program=True,
    aliases=["best", "production", "v2.0"]
)

​インストールと認証

​プログラムの最適化をトラッキングする (実験的)

​予測を W&B 表 にログする

​予測データにアクセスする

​DSPy プログラムを保存してバージョン管理する

インストールと認証

プログラムの最適化をトラッキングする (実験的)

予測を W&B 表にログする

予測データにアクセスする

DSPy プログラムを保存してバージョン管理する