Together AI est une plateforme de création et de fine-tuning de modèles d’IA générative. Elle se concentre sur les LLM open source et permet aux clients d’effectuer le fine-tuning et d’héberger leurs propres modèles. Ce guide vous montre comment tracer et évaluer les appels de modèle Together AI dans Weave à l’aide de la compatibilité du SDK OpenAI de Together. Vous pouvez surveiller les entrées, les sorties et les performances des LLM open source aux côtés de vos autres travaux suivis dans Weave.
La prise en charge complète du package Python together par Weave est en cours de développement.
api_key sur votre clé API Together, base_url sur https://api.together.xyz/v1 et model sur l’un des modèles de chat. L’exemple suivant initialise Weave, puis effectue un appel de complétion de chat vers un modèle hébergé par Together. Une fois exécuté, l’appel apparaît comme une trace dans votre projet Weave.
import os
import openai
import weave
weave.init('together-weave')
system_content = "You are a travel agent. Be descriptive and helpful."
user_content = "Tell me about San Francisco"
client = openai.OpenAI(
api_key=os.environ.get("TOGETHER_API_KEY"),
base_url="https://api.together.xyz/v1",
)
chat_completion = client.chat.completions.create(
model="mistralai/Mixtral-8x7B-Instruct-v0.1",
messages=[
{"role": "system", "content": system_content},
{"role": "user", "content": user_content},
],
temperature=0.7,
max_tokens=1024,
)
response = chat_completion.choices[0].message.content
print("Together response:\n", response)
