Surveillez vos agents avec des signaux

Dans Agents view de W&B Weave, l’onglet Signals affiche des tags et des scores pour les conversations de votre agent. Les signaux mettent en évidence les problèmes de qualité et de sécurité afin de repérer les anomalies, d’identifier des tendances et de mettre en avant les traces qui nécessitent votre attention. Utilisez les signaux pour évaluer automatiquement la qualité des réponses de votre agent, détecter quand un utilisateur est frustré ou signaler du contenu NSFW. Pour évaluer les tours de conversation à l’aide d’un point de terminaison HTTP que vous hébergez plutôt qu’avec un juge LLM, consultez Évaluer les tours de conversation des agents avec un scorer distant. Pour afficher les signaux de votre projet :

1. Accédez à https://wandb.ai et sélectionnez votre projet.
2. Dans le menu latéral, sélectionnez Agents pour afficher toutes les conversations d’agent enregistrées dans votre projet.
3. Dans la barre d’onglets, sélectionnez Signals.

• Tour de conversation : Un échange aller-retour entre l’utilisateur et l’agent.
• Score : Un score numérique entre 0,0 et 1,0 attribué à un span correspondant.
• Tags : Des tags attribués aux spans correspondants, comme “user-frustration” ou “nsfw”.

L’onglet Signals affiche un tableau des tours de conversation évalués de votre agent. Chaque ligne représente le résultat de l’un de vos moniteurs de signaux. Les colonnes suivantes s’affichent par défaut. Utilisez le sélecteur de fenêtre temporelle et la barre Filtre pour affiner les résultats par évaluateur, agent, plage de score ou période. La chronologie Volume de scores affiche le nombre de signaux que Weave a évalués avec un score ou tagués. Elle reflète les lignes affichées dans le tableau et prend en charge le filtrage par glisser-déposer sur la chronologie.

​

Comment Weave normalise les scores

Avant de stocker le résultat d’un signal, Weave normalise les tags, les scores et les justifications renvoyés par le scorer :

• Les tags sont convertis en minuscules. Les caractères autres que 0-9, a-z, A-Z, l’espace et . , ; - & ! @ # $ % ? sont supprimés. Toute suite d’espaces, de caractères de soulignement et de tirets est remplacée par un seul tiret.
• Au maximum 10 tags sont conservés par résultat. Les tags en double sont supprimés.
• Les mêmes caractères sont supprimés des justifications, qui sont ensuite tronquées à 256 caractères.
• Si un tag dépasse 36 caractères ou si un résultat comporte plus d’un score, le résultat est rejeté dans son intégralité et Weave n’écrit aucun feedback pour celui-ci.

Ces règles s’appliquent à tous les signaux, que le résultat provienne d’un juge LLM ou d’un scorer distant. Pour commencer à évaluer les tours de conversation de votre agent, créez un ou plusieurs signaux. Sélectionnez + New signal pour ouvrir le volet latéral Créer des signaux. Le volet latéral regroupe les signaux disponibles en deux catégories :

• Tags : appliquez automatiquement un libellé aux spans correspondants, comme user-frustration ou nsfw. Utilisez les tags pour catégoriser les spans ou signaler un comportement indésirable. L’interface utilisateur des signaux n’affiche que les lignes des spans ayant reçu au moins un tag. Un signal de tag peut donc s’exécuter correctement même si vous ne voyez aucun résultat.
• Scores : attribuez un score de 0 à 1 aux spans correspondants. Utilisez les scores pour évaluer les performances de l’agent et mesurer les améliorations au fil du temps.

Chaque catégorie propose des modèles prédéfinis que vous pouvez sélectionner directement. Sélectionnez n’importe quelle combinaison de modèles prédéfinis dans les deux catégories, puis sélectionnez Créer [N] signaux pour les créer tous en une seule fois avec les paramètres par défaut.

​

Signals personnalisés

Pour créer un signal de tag personnalisé à partir d’un onglet Signals vide, voir Créer un signal personnalisé. Si vous avez créé au moins un signal, sélectionnez le bouton des signaux actifs dans la barre d’outils — libellé avec le nombre de signaux actifs, par exemple 1 active signals — pour ouvrir un volet latéral qui répertorie tous les signaux actifs du projet. Vous pouvez ensuite activer ou désactiver les signaux, les supprimer ou modifier n’importe quel signal. L’éditeur affiche les mêmes champs de configuration qu’un signal personnalisé. L’activité des signaux s’affiche sous Traces dans la barre latérale du projet. Si vous ne voyez pas les correspondances attendues pour les signaux, utilisez le tableau Traces pour le diagnostic. Par exemple, vérifiez le nom du scorer ainsi que la colonne Status afin de repérer d’éventuelles erreurs. En cas d’erreur d’exécution du scorer, Status affiche un indicateur rouge et inclut les détails de l’erreur.