カスタムランタイムを追加する

カスタムランタイムを登録して、OpenAI-compatible 推論エンドポイントを W&B Weave プロジェクトに接続します。登録すると、エンドポイントのモデルが Weave 全体のモデルセレクターに表示されます。インテグレーションコードを記述しなくても、チームで Playground、Evaluation Playground、LLM-as-a-judge ワークフローからこれらのモデルを使用できます。カスタムランタイムを使用すると、次のいずれにも接続できます。

チームが OpenAI-compatible API の背後で提供するエージェントまたはモデルのプロトタイプ。
セルフホストまたはローカルで実行するモデル (例: Ollama または vLLM で提供されるモデル) 。
Weave が組み込みでサポートしていないプロバイダーまたはモデルバージョン。

カスタムランタイムは W&B UI で管理できるほか、Python および TypeScript SDK を使用してプログラムから管理することもできます。SDK を使用する方法は CI/CD 向けに設計されています。登録は宣言的かつ冪等であるため、パイプラインでデプロイのたびにランタイムを再登録でき、Weave は指定した設定に収束します。

カスタムランタイムを使用できる場所

登録したカスタムランタイムのモデルは、以下の場所にあるモデルセレクターに表示されます。

Playground: エンドポイントとインタラクティブにチャットできます。
Evaluation Playground: エンドポイントを評価し、他のモデルと比較できます。
Signals: 受信トレースをスコアリングする judge モデルとしてエンドポイントを使用できます。
Scorer の反復処理と Agent Signals のモデルセレクター。
Weave completions API: モデル ID custom::<runtime-name>::<runtime-id> を completions/create エンドポイントに渡すと、プログラムからエンドポイントに対してトレース付きの完了を実行できます。詳細は、サービス API リファレンスを参照してください。

コードまたは Weave UI を使用して、project にカスタムランタイムを追加できます。カスタムランタイムを追加するには、次のランタイム情報が必要です。

フィールド	説明
名	project 内でランタイムを識別します。モデルセレクターではグループ名として表示されます。
ベース URL	Weave が完了リクエストを送信する OpenAI-compatible エンドポイントです。W&B のサーバーから到達可能である必要があります。
ランタイム ID	エンドポイントが提供する 1 つ以上のモデル ID です。各 ID は選択可能なモデルとして表示されます。
最大トークン数	モデルが 1 回の応答で生成できるトークンの最大数です。ランタイム ID ごとに設定します。デフォルトは 4096 です。
APIキーのシークレット (任意)	エンドポイントの APIキーを格納するチームシークレットの名です。
ヘッダー (任意)	エンドポイントへのすべてのリクエストで送信されるカスタム HTTP ヘッダーです。

コードを使用してカスタムランタイムを追加する

前のセクションで説明したランタイム情報に基づいて、次の登録リクエストの該当するフィールドを更新し、実行してproject内にカスタムランタイムを作成または更新します。プログラムによる登録には、バージョン0.53.4以降のweave Pythonパッケージ、またはバージョン0.16.5以降のweave npmパッケージが必要です。

Python
TypeScript

import weave

client = weave.init("[YOUR-TEAM-NAME]/[YOUR-PROJECT-NAME]")

client.register_custom_runtime(
    name="support-agent",
    base_url="https://agent.example/v1",
    api_key_secret="AGENT_API_KEY",
    headers={"X-Tenant-ID": "customer-1"},
    runtime_ids=[
        "support-v12",
        weave.CustomRuntimeID(id="support-canary", max_tokens=8192),
    ],
)

import * as weave from 'weave';

const client = await weave.init('[YOUR-TEAM-NAME]/[YOUR-PROJECT-NAME]');

await client.registerCustomRuntime({
  name: 'support-agent',
  baseUrl: 'https://agent.example/v1',
  apiKeySecret: 'AGENT_API_KEY',
  headers: {'X-Tenant-ID': 'customer-1'},
  runtimeIds: ['support-v12', {id: 'support-canary', maxTokens: 8192}],
});

ランタイムを追加すると、そのランタイム ID はcustom::<runtime-name>::<runtime-id>として参照されます。呼び出しが成功すると、UIで登録したランタイムと同様に、ランタイム名の下のモデルセレクターにランタイムのモデルが表示されます。

ランタイムを更新した後、キャッシュの有効期限が切れるまで最大60秒間、Inferenceで以前の設定が引き続き使用される場合があります。

UI でカスタムランタイムを登録する

W&B UI からカスタムランタイムを登録するには、次の手順に従います。

Weave のサイドバーで Project を選択し、AI Providers タブを選択します。または、Playground のモデルセレクターで Configure providers をクリックします。
Add custom runtime をクリックします。設定用の drawer が開きます。
drawer で、ランタイムの名前、ベース URL、1 つ以上のランタイム ID を入力します。必要に応じて、APIキーのシークレットとカスタムヘッダーを追加します。
ランタイムを保存します。

ランタイムのモデルは、そのランタイム名のグループとしてモデルセレクターに表示されます。ランタイム ID を指定せずに保存したランタイムもセレクターに表示され、Add runtime ID アクションからエディターを再度開けます。ランタイムを編集または削除するには、AI Providers タブのランタイムの行にある編集および削除コントロールを使用します。ランタイムを削除すると、元に戻せません。

スタートガイド

ガイド

クックブック

リファレンス

詳細とサポート

カスタムランタイムを追加する

カスタムランタイムを使用できる場所