Weave for Agents est en préversion publique. Les fonctionnalités, les API et l’interface utilisateur de la vue Agents peuvent encore évoluer avant la disponibilité générale.
- Accédez à https://wandb.ai et sélectionnez votre projet.
- Dans le menu latéral, sélectionnez Agents pour afficher toutes les conversations d’agent enregistrées dans votre projet.
- Dans la barre d’onglets, sélectionnez Signals.
- Tour de conversation : Un échange aller-retour entre l’utilisateur et l’agent.
- Score : Un score numérique entre 0,0 et 1,0 attribué à un span correspondant.
- Tags : Des tags attribués aux spans correspondants, comme “user-frustration” ou “nsfw”.
L’onglet Signals affiche un tableau des tours de conversation évalués de votre agent. Chaque ligne représente le résultat de l’un de vos moniteurs de signaux. Les colonnes suivantes s’affichent par défaut.
| Colonne | Description |
|---|
| Type | La partie de la conversation qui est évaluée. Seul turn est pris en charge. |
| Scorer | Le nom du signal qui a produit ce score. |
| Dernier message | Un aperçu du dernier message du tour de conversation évalué, avec le rôle affiché en dessous. |
| Agent | L’agent associé au tour de conversation évalué. |
| Scores | Le score numérique de 0,0 à 1,0, ou un tag s’il y a correspondance. Nous vous recommandons d’utiliser une échelle cohérente où 1 indique un bon résultat et 0 un mauvais, mais vos évaluateurs peuvent utiliser n’importe quelle échelle que vous définissez. |
| Tendance | Affiche un graphique intégré montrant l’évolution de ce signal au fil du temps. Affiche soit la valeur moyenne (pour les scores), soit le nombre d’occurrences (pour les tags). |
| Quand | Le moment où le signal a été évalué. |
- score : attribue un score entre 0 et 1 à chaque span correspondant.
- Tags : attribue jusqu’à 10 tags à chaque span correspondant. L’interface utilisateur Signals affiche uniquement des lignes pour les spans correspondant à au moins un tag. Votre scorer de tags peut donc s’exécuter correctement même si vous ne voyez aucun résultat.
Attribuez un score uniquement aux tours de conversation correspondants
Agent name, un Operation name, un Tool name ou un Request model spécifique. Weave combine plusieurs filtres avec une logique AND. Pour attribuer un score à chaque tour de conversation, sélectionnez le x à la fin de la ligne de filtre pour le supprimer.
Choisissez un modèle de départ dans les tableaux suivants, puis ajustez le prompt affiché directement sous Scorer prompt. Weave résout les variables du modèle, telles que {input_messages}, {output_messages} et {system_instructions}, lors de l’évaluation.
| Modèle | Ce qu’il évalue |
|---|
| Satisfaction de l’utilisateur | Si l’utilisateur est satisfait (feedback positif, poursuite de l’échange, tâche accomplie) ou insatisfait (plaintes, reformulations répétées, abandon). |
| Bonne intention de l’utilisateur | Si l’intention de l’utilisateur est bénigne et légitime, par opposition aux tentatives de jailbreak, aux requêtes malveillantes ou à l’injection de prompt. |
| Safe-for-Work | Si la conversation est appropriée dans un contexte professionnel, par opposition à un contenu explicite, violent ou autrement inapproprié sur le lieu de travail. |
| Qualité de la réponse | Si la réponse de l’agent est exacte, complète et répond directement à la requête de l’utilisateur. |
| Modèle | Ce qu’il détecte |
|---|
| Frustration de l’utilisateur | L’utilisateur montre des signes de frustration, de colère, de confusion ou d’insatisfaction. |
| Intention malveillante (Jailbreaking) | L’utilisateur tente de contourner les protections du système, d’extraire du contenu restreint, d’effectuer une injection de prompt, d’utiliser des techniques de jeu de rôle abusives, ou de manipuler l’agent d’une autre manière pour qu’il ignore ses garde-fous. |
| NSFW | L’entrée de l’utilisateur ou la sortie de l’agent contient du contenu sexuel explicite, de la violence explicite ou d’autres éléments inappropriés dans un cadre professionnel. |
| Réponse de faible qualité | Sortie de l’agent factuellement incorrecte, hors sujet, évasive, répétitive, manquant de justification lorsqu’elle refuse, ou ne répondant pas correctement à la requête de l’utilisateur. |
- Modèle d’inférence : le LLM à utiliser pour l’évaluation. Serverless Inference est l’option par défaut recommandée lorsqu’elle est disponible.
- Taux d’échantillonnage : pour les agents à fort trafic, définissez un taux d’échantillonnage afin d’évaluer seulement une partie des tours de conversation, plutôt que chaque tour de conversation, et de réduire les coûts.
Gérer et modifier les signaux
Résoudre les problèmes liés aux signaux
