Together AI は、生成 AI モデルの構築とファインチューニングのためのプラットフォームです。オープンソース LLM に注力しており、ユーザーは独自のモデルをファインチューニングしてホストできます。このガイドでは、Together の OpenAI SDK との互換性を使用して、Weave で Together AI のモデル呼び出しをトレースして評価する方法を説明します。オープンソース LLM の入力、出力、パフォーマンスを、Weave でトラッキングされる他の作業とあわせてモニターできます。
Weave による together Python パッケージの完全サポートは現在開発中です。
api_key をお使いの Together API キーに、base_url を https://api.together.xyz/v1 に、model を チャットモデル のいずれかに設定します。次の例では、Weave を初期化してから、Together でホストされているモデルに対して Chat Completion を呼び出します。実行すると、その呼び出しは Weave プロジェクト内にトレースとして表示されます。
import os
import openai
import weave
weave.init('together-weave')
system_content = "You are a travel agent. Be descriptive and helpful."
user_content = "Tell me about San Francisco"
client = openai.OpenAI(
api_key=os.environ.get("TOGETHER_API_KEY"),
base_url="https://api.together.xyz/v1",
)
chat_completion = client.chat.completions.create(
model="mistralai/Mixtral-8x7B-Instruct-v0.1",
messages=[
{"role": "system", "content": system_content},
{"role": "user", "content": user_content},
],
temperature=0.7,
max_tokens=1024,
)
response = chat_completion.choices[0].message.content
print("Together response:\n", response)
