- Lorsqu’un run échoue (événement), notifier un canal Slack (action).
- Lorsque l’alias
productionest ajouté à un artefact (événement), appeler un webhook pour déclencher un déploiement (action).
production ajouté (événement), puis webhook (action).
Où créer des automatisations
- Dans un projet : ouvrez le projet, puis sélectionnez l’onglet Automatisations dans la barre latérale du projet.
- Dans un registre : ouvrez le registre, puis sélectionnez l’onglet Automatisations.
Cas d’utilisation
- Surveillance des runs et alertes : notifier l’équipe lorsqu’un run échoue ou lorsqu’une métrique franchit un seuil (par exemple, la perte passe à NaN ou la précision baisse).
- CI/CD du Registry : lorsqu’une nouvelle version de modèle est liée ou qu’un alias (tel que
stagingouproduction) est ajouté, déclencher un webhook pour exécuter des tests ou déployer. - Flux de travail des artefacts de projet : lorsqu’une nouvelle version d’artefact est créée ou qu’un alias est ajouté dans un projet, exécuter un job en aval ou publier sur Slack.
Actions d’automatisation
- Notification Slack : Envoie un message dans un canal Slack avec des détails sur l’événement déclencheur. Le message résume l’événement et inclut un lien pour afficher plus de détails dans W&B.
- Webhook : Appelle une URL de webhook avec une charge utile JSON contenant des informations sur l’événement déclencheur. Utilisez les webhooks pour intégrer des systèmes externes tels que des pipelines CI/CD, des services de déploiement de modèles ou des flux de travail personnalisés.
Fonctionnement des automatisations
- Si nécessaire, configurez des secrets pour les chaînes sensibles dont l’automatisation a besoin, comme des jetons d’accès, des mots de passe ou des détails de configuration sensibles. Les secrets sont définis dans Team Settings. Ils sont le plus souvent utilisés dans les automatisations webhook pour transmettre en toute sécurité des identifiants ou des jetons au service externe du webhook, sans les exposer en clair ni les coder en dur dans la charge utile du webhook.
- Configurez des intégrations webhook ou Slack au niveau de l’équipe afin d’autoriser W&B à publier dans Slack ou à exécuter le webhook en votre nom. Une même action d’automatisation (webhook ou notification Slack) peut être utilisée par plusieurs automatisations. Ces actions sont définies dans Team Settings.
- Dans le projet ou le registre, créez l’automatisation :
- Définissez l’événement à surveiller, par exemple l’ajout d’une nouvelle version d’artefact.
- Définissez l’action à effectuer lorsque l’événement se produit (publier dans un canal Slack ou exécuter un webhook). Pour un webhook, indiquez un secret à utiliser pour le jeton d’accès et/ou un secret à envoyer avec la charge utile, si nécessaire.
Recommandations
- Commencez simple : commencez par une ou deux automatisations pour des événements à fort impact (par exemple, des échecs de run ou des changements d’alias de production). Vérifiez qu’elles fonctionnent comme prévu avant d’en ajouter d’autres.
- Testez avant la mise en production : créez d’abord des automatisations dans un projet de test ou avec un webhook ou un salon Slack de test. Déclenchez manuellement l’événement, puis vérifiez que l’action s’exécute et que la charge utile ou le message est correct.
- Évitez la surcharge d’alertes : utilisez des filtres de run, des seuils de métrique ou des motifs d’alias pour limiter la fréquence de déclenchement d’une automatisation. Si vous avez plusieurs niveaux de gravité, acheminez-les vers différents canaux.
Limites
Étapes suivantes
- Tutoriel sur les automatisations : vous guide dans la création d’une automatisation de projet pour alerter en cas d’échec de run, ainsi que d’une automatisation Registry pour exécuter un webhook lorsqu’un alias est ajouté. Le tutoriel utilise l’application W&B.
- Créer une automatisation.
- Événements et portée des automatisations.
- Créer un secret.
Vous cherchez des tutoriels complémentaires sur les automatisations ?