Passer au contenu principal
Ouvrir dans Colab Weave suit automatiquement et journalise les appels LLM effectués via la bibliothèque Python MistralAI. Ce guide vous montre comment capturer les traces des appels MistralAI, encapsuler les appels dans vos propres ops pour la reproductibilité et organiser les expériences à l’aide de la classe Model.
Weave prend en charge le SDK Mistral v1.0. Pour plus de détails sur la mise à niveau, consultez le guide de migration.

​
Traces

Il est important de stocker les traces des applications LLM dans une base de données centrale, aussi bien pendant le développement qu’en production. Vous utilisez ces traces pour le débogage, ainsi que comme jeu de données pour vous aider à améliorer votre application. Weave capture automatiquement les traces de mistralai. Pour utiliser la bibliothèque comme d’habitude, commencez par appeler weave.init() : 
import weave
weave.init("cheese_recommender")

# utiliser ensuite la bibliothèque mistralai comme d'habitude
import os
from mistralai import Mistral

api_key = os.environ["MISTRAL_API_KEY"]
model = "mistral-large-latest"

client = Mistral(api_key=api_key)

messages = [
    {
        "role": "user",
        "content": "What is the best French cheese?",
    },
]

chat_response = client.chat.complete(
    model=model,
    messages=messages,
)
Weave suit et journalise désormais tous les appels LLM effectués via la bibliothèque MistralAI. Vous pouvez consulter les traces dans l’interface web de Weave. mistral_trace.png

​
Encapsuler les appels dans vos propres ops

Une fois que le tracing de base fonctionne, vous pouvez encapsuler vos appels MistralAI dans des ops Weave afin de les rendre reproductibles d’une expérience à l’autre. Les ops Weave rendent les résultats reproductibles en assurant automatiquement la gestion des versions du code au fil de vos expérimentations, et elles capturent leurs entrées et leurs sorties. Créez une fonction décorée avec @weave.op() qui appelle mistralai.client.MistralClient.chat(), et Weave assure pour vous le suivi des entrées et des sorties. L’exemple suivant montre comment procéder pour un système de recommandation de fromages : 
@weave.op()
def cheese_recommender(region:str, model:str) -> str:
    "Recommend the best cheese in a given region"
    
    messages = [
        {
            "role": "user",
            "content": f"What is the best cheese in {region}?",
        },
    ]

    chat_response = client.chat.complete(
        model=model,
        messages=messages,
    )
    return chat_response.choices[0].message.content

cheese_recommender(region="France", model="mistral-large-latest")
cheese_recommender(region="Spain", model="mistral-large-latest")
cheese_recommender(region="Netherlands", model="mistral-large-latest")
mistral_ops.png

​
Créez un Model pour expérimenter plus facilement

Il peut être difficile d’organiser une expérimentation quand de nombreux éléments entrent en jeu. En utilisant la classe Model, vous pouvez capturer et organiser les détails expérimentaux de votre application, comme le prompt système ou le modèle utilisé. Cela facilite l’organisation et la comparaison des différentes itérations de votre application. En plus de la gestion des versions du code et de la capture des entrées et des sorties, les Models capturent des paramètres structurés qui contrôlent le comportement de votre application, ce qui permet d’identifier facilement les paramètres les plus efficaces. Vous pouvez également utiliser les Weave Models avec serve et les Évaluations. Dans l’exemple suivant, vous pouvez expérimenter avec model et country. Chaque fois que vous en modifiez un, vous obtenez une nouvelle version de CheeseRecommender. 
import weave
from mistralai import Mistral

weave.init("mistralai_project")

class CheeseRecommender(weave.Model): # Remplacer par `weave.Model`
    model: str
    temperature: float

    @weave.op()
    def predict(self, region:str) -> str: # Remplacer par `predict`
        "Recommend the best cheese in a given region"
        
        client = Mistral(api_key=api_key)

        messages = [
            {
                "role": "user",
                "content": f"What is the best cheese in {region}?",
            },
        ]

        chat_response = client.chat.complete(
            model=model,
            messages=messages,
            temperature=self.temperature
        )
        return chat_response.choices[0].message.content

cheese_model = CheeseRecommender(
    model="mistral-medium-latest",
    temperature=0.0
    )
result = cheese_model.predict(region="France")
print(result)
mistral_model.png