Événements et portées des Automations

Une automatisation démarre lorsqu’un événement spécifique se produit dans une portée donnée : une organisation, une équipe, un projet, un registre ou une collection. Cette page décrit les événements pouvant déclencher une automatisation dans chacune de ces portées, afin que vous puissiez choisir le bon déclencheur lors de la configuration d’une automatisation. Pour en savoir plus sur les automatisations, consultez l’Aperçu des automatisations ou Créer une automatisation. Les portées sont hiérarchiques : une organisation contient des équipes, qui contiennent des projets et des registres. Les projets et les registres contiennent tous deux des collections : un projet contient les collections d’artifacts qui y sont enregistrées, et un registre contient les collections auxquelles les versions d’artifact sont liées. Une automatisation surveille son événement dans tous les éléments de sa portée, y compris les projets, registres et collections créés ultérieurement. Un même événement peut correspondre à des automatisations dans plusieurs portées. Chaque automatisation correspondante se déclenche indépendamment. Pour vous protéger contre les déclenchements excessifs dans les portées étendues, W&B applique une limite de débit et un délai de récupération par automatisation. Ces protections peuvent retarder ou ignorer les déclenchements répétés d’une même automatisation. Les sections suivantes décrivent chaque portée plus en détail. Utilisez la portée de l’organisation pour définir une politique une seule fois et l’appliquer partout. Par exemple, notifiez un canal Slack dédié à la conformité chaque fois que l’alias production est ajouté à un artifact de l’organisation. Les événements basés sur les runs (les événements de changement de statut d’un run et de modification des métriques d’un run) ne sont pas disponibles à l’échelle de l’organisation dans W&B App. Utilisez la portée Équipe pour appliquer une politique à toutes les ressources détenues par une équipe. Une automatisation limitée à une équipe surveille les mêmes événements d’artefacts et de collections que la portée Organisation. Les événements basés sur les runs ne sont pas disponibles à la portée Équipe dans W&B App. Une automatisation de registre surveille l’événement qui se produit dans n’importe quelle collection d’un registre donné, y compris les collections ajoutées ultérieurement.

​

Événements

Une automatisation du registre peut surveiller ces événements :

• Une nouvelle version est liée à une collection : testez et validez de nouveaux modèles ou jeux de données lorsqu’ils sont ajoutés au registre.
• Un alias d’artifact est ajouté : déclenchez une étape spécifique de votre flux de travail lorsqu’une nouvelle version d’artifact se voit attribuer un alias spécifique. Par exemple, déployez un modèle lorsque l’alias production lui est appliqué.

Lorsque l’automatisation appelle un webhook, elle peut accéder aux mêmes configurations de webhook au niveau de l’équipe et aux secrets d’équipe que les automatisations limitées au projet. Une automatisation au niveau du projet surveille l’événement qui se produit sur n’importe quelle collection du projet. Selon l’événement que vous spécifiez, vous pouvez encore restreindre la portée de l’automatisation. Cette section décrit les événements liés à un artifact qui peuvent déclencher une automatisation.

• Une nouvelle version est ajoutée à un artifact : appliquez des actions récurrentes à chaque version d’un artifact. Par exemple, lancez une tâche d’entraînement lorsqu’une nouvelle version d’un artifact de jeu de données est créée.
• Un alias d’artifact est ajouté : déclenchez une étape spécifique de votre flux de travail lorsqu’une nouvelle version d’artifact dans un projet se voit attribuer un alias correspondant à la regex d’alias que vous spécifiez. Par exemple, exécutez une série d’étapes de traitement en aval lorsqu’un artifact se voit attribuer l’alias test-set-quality-check, ou exécutez un flux de travail chaque fois qu’une nouvelle version d’artifact reçoit l’alias latest. Une seule version d’artifact peut avoir un alias donné à un instant donné.
• Un tag d’artifact est ajouté : déclenchez une étape spécifique de votre flux de travail lorsqu’une version d’artifact dans un projet se voit attribuer un tag correspondant à la regex de tag que vous spécifiez. Par exemple, spécifiez ^europe.* pour déclencher un flux de travail géospécifique lorsqu’un tag commençant par la chaîne europe est ajouté à une version d’artifact. Utilisez les tags d’artifact pour le regroupement et le filtrage. Vous pouvez attribuer le même tag à plusieurs versions d’artifact.

Les sections suivantes décrivent comment configurer une automatisation qui se déclenche par une modification du statut d’un run ou par une modification de la valeur d’une métrique d’un run. Déclenchez un flux de travail lorsqu’un run change de statut et passe à Running, Finished ou Failed. Vous pouvez également restreindre les runs susceptibles de déclencher une automatisation en spécifiant un filtre sur l’utilisateur ou le nom du run. Comme le statut d’un run est une propriété du run dans son ensemble, vous ne pouvez créer une automatisation de statut de run que depuis la page Automations, et non depuis un workspace. Déclenchez un flux de travail en fonction d’une valeur enregistrée pour une métrique, qu’il s’agisse d’une métrique de l’historique d’un run ou d’une métrique système telle que cpu, qui indique le pourcentage d’utilisation du CPU. W&B enregistre automatiquement les métriques système toutes les 15 secondes. Vous pouvez créer une automatisation de métriques de run depuis l’onglet Automations du projet ou directement depuis un panneau de graphique linéaire dans un Workspace. Pour configurer une automatisation de métrique de run, définissez comment comparer la valeur de la métrique au seuil que vous spécifiez. Les options proposées dépendent du type d’événement et des filtres que vous définissez. Vous pouvez également limiter davantage les runs susceptibles de déclencher une automatisation en spécifiant un filtre sur l’utilisateur ou sur le nom du run. Utilisez un événement de seuil pour démarrer une automatisation lorsqu’une métrique franchit une valeur fixe. Pour les événements Seuil des métriques du run atteint, vous configurez :

1. La fenêtre des valeurs enregistrées les plus récentes à prendre en compte (5 par défaut).
2. La valeur Average, Min ou Max à évaluer dans la fenêtre.
3. La comparaison à effectuer :
   • Supérieur à
   • Supérieur ou égal à
   • Inférieur à
   • Inférieur ou égal à
   • Différent de
   • Égal à

Par exemple, déclenchez une automation lorsque la moyenne de accuracy est supérieure à 0.6. Utilisez un événement de seuil de variation pour démarrer une automatisation lorsqu’une métrique varie entre deux fenêtres récentes de valeurs. Pour les événements Seuil de variation des métriques de run atteint, l’automatisation utilise deux « fenêtres » de valeurs pour déterminer si elle doit se déclencher :

• La fenêtre actuelle des valeurs récemment enregistrées à prendre en compte (10 par défaut).
• La fenêtre précédente des valeurs récemment enregistrées à prendre en compte (50 par défaut).

Les fenêtres actuelle et précédente sont consécutives et ne se chevauchent pas. Pour créer l’automatisation, configurez :

1. La fenêtre actuelle des valeurs enregistrées (10 par défaut).
2. La fenêtre précédente des valeurs enregistrées (50 par défaut).
3. Si les valeurs doivent être évaluées de façon relative ou absolue (Relative par défaut).
4. La comparaison à effectuer :
   • Augmente d’au moins
   • Diminue d’au moins
   • Augmente ou diminue d’au moins

Par exemple, déclenchez une automatisation lorsque la moyenne de loss diminue d’au moins 0.25. W&B peut déclencher une automatisation lorsque le z-score (score standard) d’une métrique dépasse un seuil spécifié. Un z-score mesure de combien d’écarts types une valeur s’écarte de la moyenne de cette métrique sur une fenêtre configurable de runs dans le projet (30 runs par défaut). Pour utiliser un z-score comme déclencheur d’événement, sélectionnez l’événement Run metrics z-score threshold met. Les Automations basées sur le z-score permettent à votre équipe d’être alertée en cas de performances inhabituelles, sans avoir à vérifier des seuils absolus, qui peuvent varier à mesure que votre modèle ou votre processus d’entraînement évolue. Vous pouvez créer une automatisation de z-score pour les métriques de run depuis l’onglet Automations du projet ou directement depuis un panneau de graphique linéaire dans un Workspace. Pour créer une automatisation de z-score, configurez :

1. Le seuil cible de z-score, exprimé sous forme de valeur flottante positive (par exemple, 2.0).
2. La fenêtre de valeurs enregistrées qui sert à déterminer la moyenne (30 par défaut).
3. La comparaison à effectuer :
   • Au-dessus (se déclenche lorsque les performances sont inhabituellement élevées).
   • En dessous (se déclenche lorsque les performances sont inhabituellement faibles).
   • Au-dessus ou en dessous.

Par exemple, déclenchez une automatisation lorsque accuracy a un z-score supérieur à 2, ce qui signifie que le run obtient des performances bien supérieures à celles des autres runs du projet. Les valeurs de z-score ont les significations suivantes :

• Un z-score de 0 signifie que la métrique est dans la moyenne.
• Un z-score de +2.0 signifie que la métrique se situe à 2 écarts types au-dessus de la moyenne.
• Un z-score de -2.0 signifie que la métrique se situe à 2 écarts types en dessous de la moyenne.
• Les valeurs au-delà de ±2 sont souvent considérées comme des valeurs aberrantes statistiquement significatives.

Cette section décrit comment l’automatisation sélectionne les runs à évaluer. Par défaut, n’importe quel run du projet déclenche l’automatisation lorsque l’événement se produit. Vous pouvez limiter les runs qui déclenchent une automatisation en configurant l’un des filtres suivants : L’automatisation évalue chaque run comme suit :

• Chaque run est considéré individuellement et peut déclencher l’automatisation.
• Les valeurs de chaque run sont placées dans une fenêtre distincte et comparées séparément au seuil.
• Sur une période de 24 heures, une automatisation donnée ne peut se déclencher qu’une seule fois par run.

Pour plus de détails, voir Créer des automatisations.

• Créer une automatisation Slack
• Créer une automatisation par webhook