- Lorsqu’un run échoue (événement), notifier un canal Slack (action).
- Lorsque l’alias
productionest ajouté à un artefact (événement), appeler un webhook pour déclencher un déploiement (action).
production ajouté (événement), puis webhook (action).
Où créer des automatisations
- Dans un projet : ouvrez le projet, puis cliquez sur l’onglet Automations dans la barre latérale du projet.
- Dans un registre : ouvrez le registre, puis cliquez sur l’onglet Automations.
Cas d’utilisation
- Surveillance des runs et alertes : notifier l’équipe lorsqu’un run échoue ou lorsqu’une métrique franchit un seuil (par exemple, la perte passe à NaN ou la précision baisse).
- CI/CD du Registry : lorsqu’une nouvelle version de modèle est liée ou qu’un alias (tel que
stagingouproduction) est ajouté, déclencher un webhook pour exécuter des tests ou déployer. - Flux de travail des artefacts de projet : lorsqu’une nouvelle version d’artefact est créée ou qu’un alias est ajouté dans un projet, exécuter un job en aval ou publier sur Slack.
Actions d’automatisation
- Notification Slack : Envoyez un message sur un canal Slack avec des détails sur l’événement ayant déclenché l’action. Le message résume l’événement, avec un lien pour afficher plus de détails dans W&B.
- Webhook : Appelez une URL de webhook avec une charge utile JSON contenant des informations sur l’événement ayant déclenché l’action. Cela permet une intégration avec des systèmes externes comme des pipelines CI/CD, des services de déploiement de modèles ou des flux de travail personnalisés.
Fonctionnement des automatisations
- Si nécessaire, configurez des secrets pour les chaînes sensibles dont l’automatisation a besoin, comme des jetons d’accès, des mots de passe ou des détails de configuration sensibles. Les secrets sont définis dans Team Settings. Ils sont le plus souvent utilisés dans les automatisations webhook pour transmettre en toute sécurité des identifiants ou des jetons au service externe du webhook, sans les exposer en clair ni les coder en dur dans la charge utile du webhook.
- Configurez des intégrations webhook ou Slack au niveau de l’équipe afin d’autoriser W&B à publier dans Slack ou à exécuter le webhook en votre nom. Une même action d’automatisation (webhook ou notification Slack) peut être utilisée par plusieurs automatisations. Ces actions sont définies dans Team Settings.
- Dans le projet ou le registre, créez l’automatisation :
- Définissez l’événement à surveiller, par exemple l’ajout d’une nouvelle version d’artefact.
- Définissez l’action à effectuer lorsque l’événement se produit (publier dans un canal Slack ou exécuter un webhook). Pour un webhook, indiquez un secret à utiliser pour le jeton d’accès et/ou un secret à envoyer avec la charge utile, si nécessaire.
Recommandations
- Commencez petit : commencez par une ou deux automatisations pour des événements à forte valeur (par exemple, des échecs de runs ou des modifications de l’alias de production). Vérifiez qu’elles fonctionnent comme prévu avant d’en ajouter davantage.
- Testez avant la production : créez d’abord des automatisations dans un projet de test ou avec un webhook ou un canal Slack de test. Déclenchez manuellement l’événement et confirmez que l’action s’exécute et que la charge utile ou le message est correct.
- Évitez la fatigue liée aux alertes : utilisez des filtres sur les runs, des seuils de métriques ou des motifs d’alias pour limiter la fréquence de déclenchement d’une automatisation. Acheminez différents niveaux de gravité vers différents canaux si nécessaire.
Limites
Étapes suivantes
- Tutoriel sur les automatisations : vous guide dans la création d’une automatisation de projet pour alerter en cas d’échec de run, ainsi que d’une automatisation Registry pour exécuter un webhook lorsqu’un alias est ajouté. Le tutoriel utilise l’application W&B.
- Créer une automatisation.
- Événements et portée des automatisations.
- Créer un secret.
Vous cherchez des tutoriels complémentaires sur les automatisations ?