Skip to main content
Dans Agents view de W&B Weave, l’onglet Signals affiche des tags et des scores pour les conversations de votre agent. Les signaux mettent en évidence les problèmes de qualité et de sécurité afin de repérer les anomalies, d’identifier des tendances et de mettre en avant les traces qui nécessitent votre attention. Utilisez les signaux pour évaluer automatiquement la qualité des réponses de votre agent, détecter quand un utilisateur est frustré ou signaler du contenu NSFW.

​
Premiers pas

Pour afficher les signaux de votre projet :
  1. Accédez à https://wandb.ai et sélectionnez votre projet.
  2. Dans le menu latéral, sélectionnez Agents pour afficher toutes les conversations d’agent enregistrées dans votre projet.
  3. Dans la barre d’onglets, sélectionnez Signals.
L’onglet Signals affichant une liste des tours de conversation évalués pour l’agent.

​
Termes clés

  • Tour de conversation : Un échange aller-retour entre l’utilisateur et l’agent.
  • Score : Un score numérique entre 0,0 et 1,0 attribué à un span correspondant.
  • Tags : Des tags attribués aux spans correspondants, comme “user-frustration” ou “nsfw”.

​
Tableau des signaux

L’onglet Signals affiche un tableau des tours de conversation évalués de votre agent. Chaque ligne représente le résultat de l’un de vos moniteurs de signaux. Les colonnes suivantes s’affichent par défaut. Utilisez le sélecteur de fenêtre temporelle et la barre Filtre pour affiner les résultats par évaluateur, agent, plage de score ou période. La chronologie Volume de scores affiche le nombre de signaux que Weave a évalués avec un score ou tagués. Elle reflète les lignes affichées dans le tableau et prend en charge le filtrage par glisser-déposer sur la chronologie.

​
Créer un nouveau signal

Pour commencer à évaluer les tours de conversation de votre agent, créez un ou plusieurs signaux. Sélectionnez + New signal pour ouvrir le volet latéral Créer des signaux. Le volet latéral regroupe les signaux disponibles en deux catégories :
  • Tags : appliquez automatiquement un libellé aux spans correspondants, comme user-frustration ou nsfw. Utilisez les tags pour catégoriser les spans ou signaler un comportement indésirable. L’interface utilisateur des signaux n’affiche que les lignes des spans ayant reçu au moins un tag. Un signal de tag peut donc s’exécuter correctement même si vous ne voyez aucun résultat.
  • Scores : attribuez un score de 0 à 1 aux spans correspondants. Utilisez les scores pour évaluer les performances de l’agent et mesurer les améliorations au fil du temps.

​
Signaux prédéfinis

Chaque catégorie propose des modèles prédéfinis que vous pouvez sélectionner directement. Sélectionnez n’importe quelle combinaison de modèles prédéfinis dans les deux catégories, puis sélectionnez Créer [N] signaux pour les créer tous en une seule fois avec les paramètres par défaut.

​
Préréglages de tags

​
Préréglages de score

​
Signals personnalisés

Pour créer un signal de tag personnalisé à partir d’un onglet Signals vide, voir Créer un signal personnalisé.

​
Gérer et modifier les signaux

Si vous avez créé au moins un signal, sélectionnez le bouton des signaux actifs dans la barre d’outils — libellé avec le nombre de signaux actifs, par exemple 1 active signals — pour ouvrir un volet latéral qui répertorie tous les signaux actifs du projet. Vous pouvez ensuite activer ou désactiver les signaux, les supprimer ou modifier n’importe quel signal. L’éditeur affiche les mêmes champs de configuration qu’un signal personnalisé.

​
Résoudre les problèmes liés aux signaux

L’activité des signaux s’affiche sous Traces dans la barre latérale du projet. Si vous ne voyez pas les correspondances attendues pour les signaux, utilisez le tableau Traces pour le diagnostic. Par exemple, vérifiez le nom du scorer ainsi que la colonne Status afin de repérer d’éventuelles erreurs. En cas d’erreur d’exécution du scorer, Status affiche un indicateur rouge et inclut les détails de l’erreur.