Pour le tracing des applications agentiques, utilisez l’onglet Signals de la page Agents. Voir Signals pour les agents.
- Évaluation automatisée : chaque trace de production entrante est automatiquement traitée et évaluée afin de détecter les problèmes de qualité courants et les erreurs.
- Infrastructure : le traitement s’appuie sur la puissance de calcul et les GPU de CoreWeave afin de monter en charge sur des millions de traces.
- Obtenir des insights sur le comportement : allez au-delà des simples métriques système pour comprendre si votre agent hallucine, ne suit pas les schémas de conversation ou perd l’ancrage dans ses éléments de preuve.
- Accélérer la boucle de recherche : utilisez les scores et les analyses d’échec générés par les signaux pour identifier des faiblesses précises, afin d’orienter l’amélioration du modèle, l’annotation des données ou l’apprentissage par renforcement.
Signaux disponibles
Signaux de qualité
| Signal | Ce qu’il détecte |
|---|---|
| Hallucination | Faits ou affirmations inventés qui contredisent le contexte d’entrée fourni |
| Low quality | Réponses mal formatées, bâclées ou au contenu incomplet |
| User frustration | Signes de frustration de l’utilisateur, comme des questions répétées, un sentiment négatif ou des plaintes |
| Jailbreaking | Tentatives d’injection de prompt et de jailbreak visant à contourner les consignes de sécurité |
| NSFW | Contenu explicite, violent ou autrement inapproprié dans les entrées ou les sorties |
| Lazy | Réponses fournissant peu d’effort, comme une brièveté excessive, des refus d’aider ou le report du travail |
| Forgetful | Incapacité à utiliser le contexte antérieur de la conversation, en ignorant des faits ou des instructions mentionnés plus tôt |
Signaux d’erreur
| Signal | Ce qu’il détecte |
|---|---|
| Network Error | Échecs DNS, délais d’expiration, réinitialisations de connexion et autres problèmes de connectivité |
| Ratelimited | Réponses HTTP 429, épuisement des quotas et limitation du débit par les API en amont |
| Request Too Large | Requêtes dépassant les limites de taille ou de jetons, par exemple lorsque la fenêtre de contexte est dépassée |
| Bad Request | Erreurs côté client pour lesquelles le serveur rejette la requête (4xx sauf 429) |
| Bad Response | Réponses invalides, inattendues ou inutilisables provenant de services distants (5xx) |
| Bug | Défauts dans le code de l’application, tels que KeyError, TypeError ou des erreurs de logique |
Comment fonctionnent les signaux
- Sélection des traces : les signaux de qualité évaluent les traces racine réussies. Les signaux d’erreur évaluent les traces en échec. Weave n’évalue pas les spans enfants ni les appels intermédiaires.
- Construction du prompt : Weave construit un prompt qui inclut les métadonnées de la trace, les entrées, les sorties, les détails de l’exception (le cas échéant) et le code source de l’opération. Weave complète le prompt du classificateur du signal avec des instructions propres au problème à détecter.
- Évaluation par le LLM : pour chaque signal, un modèle Serverless Inference effectue une classification binaire (selon que le problème est présent ou non dans la trace). Les problèmes détectés sont renvoyés sous forme de tags de chaîne délimités par des virgules (par exemple,
"Low-quality, User-frustration, Forgetful").
Ajoutez un signal depuis la page Monitors
- Accédez à wandb.ai, puis ouvrez votre projet Weave.
- Dans la barre latérale du projet Weave, sélectionnez Monitors.
- En haut de la page Monitors, une rangée de cartes de signaux suggérés s’affiche. Chaque carte affiche le nom du signal, une description et un bouton + Add signal.
- Pour ajouter un signal, sélectionnez le bouton Add signal sur la carte correspondante. Le signal commence immédiatement l’évaluation des nouvelles traces.
- Pour ajouter plusieurs signaux à la fois, sélectionnez le bouton [X] more signals. Un volet latéral s’ouvre alors et répertorie tous les signaux disponibles, regroupés par catégorie.
- Sélectionnez les signaux que vous souhaitez activer, puis sélectionnez Add signals.
Gérer les signaux actifs
- Depuis la page Monitors, sélectionnez le bouton Manage signals (). Cela ouvre un volet latéral qui répertorie tous les signaux actuellement actifs, regroupés par catégorie.
- Survolez un signal et sélectionnez le bouton Remove signal () pour désactiver ce signal.
Utiliser les signaux intégrés
Voir les traces d’Appel taguées sur la page Traces
@weave.op, Weave stocke les résultats des signaux comme feedback sur l’objet Appel. Vous pouvez interroger ces résultats depuis la page Traces.
Vous pouvez parcourir vos traces pour repérer certains comportements sur la page Traces à l’aide de la colonne Signals. La colonne Signals affiche des tags lorsque leurs critères sont remplis. Vous pouvez survoler ces tags pour voir le niveau de confiance associé au score ainsi que le raisonnement.
classifier_meta pour le raisonnement. Par exemple, la capture d’écran suivante montre un signal Quality-classifiers avec une correspondance Low-quality, un niveau de confiance (0.9) et une raison associée à cette évaluation.
Voir les signaux dans le tableau de bord du projet
- Dans la barre latérale du projet, sélectionnez Project.
- En haut du tableau de bord du projet, sélectionnez l’onglet Weave.
- Dans les panneaux du tableau de bord Weave, repérez Monitor Scores.
Recevoir des alertes sur les signaux
Pour une surveillance plus spécifique que celle fournie par les signaux intégrés, voir Configurer des moniteurs personnalisés.