ローカルモデル

多くの開発者が、Llama-3、Mixtral、Gemma、Phi などのオープンソースモデルをローカル環境にダウンロードして実行しています。これらのモデルをローカルで動かす方法はいくつもありますが、OpenAI SDK との互換性があれば、Weave はその一部を標準でサポートしています。

ローカルモデルの関数を `@weave.op()` でラップする

weave.init('<your-project-name>') で Weave を初期化し、LLM への呼び出しを weave.op() でラップするだけで、任意の LLM を簡単に Weave と統合できます。詳しくは、トレースガイドを参照してください。

OpenAI SDK との互換性をサポートするサービスやフレームワークでは、いずれもいくつかの軽微な変更が必要です。まず最も重要なのは、openai.OpenAI() の初期化時に base_url を変更することです。

client = openai.OpenAI(
    base_url="http://localhost:1234",
)

ローカルモデルの場合、api_key には任意の文字列を指定できますが、必ず上書きしてください。そうしないと、OpenAI が環境変数からそれを使用しようとしてエラーになります。

以下は、Hugging Face からモデルをダウンロードしてローカル環境で実行でき、OpenAI SDK との互換性をサポートするアプリの一覧です。

Nomic GPT4All - Settings の Local Server 経由でサポート (FAQ)
LMStudio - Local Server による OpenAI SDK サポート docs
Ollama - OpenAI SDK 向けの OpenAI compatibility
llama-cpp-python Python パッケージ経由の llama.cpp
llamafile - http://localhost:8080/v1 は Llamafile の実行時に自動的に OpenAI SDK をサポートします

⌘I