Passer au contenu principal
Utilisez W&B App pour organiser, identifier et comparer les runs importants, tels que les plus performants, les modèles de Production, les expériences ayant échoué et les runs de référence. Pour ce faire, vous pouvez organiser et comparer les runs avec :
  • Runs épinglés : Épinglez des runs depuis n’importe quel Project de votre Workspace pour les garder visibles en haut de la liste des runs. Vous pouvez épingler jusqu’à 20 runs dans un Workspace, y compris des runs provenant d’autres Projects.
  • Run de référence : Définissez un run de référence comme référence pour les comparaisons. Le run de référence est toujours visible dans le Workspace et en haut de la liste des runs. Dans le tableau des runs, les deltas des métriques de synthèse montrent comment chaque run se compare au run de référence. Dans les graphiques en courbes, le run de référence apparaît avec un style visuellement distinct afin de faciliter la comparaison.
Graphique en courbes avec run de référence et runs épinglés Ces fonctionnalités sont particulièrement utiles pour : Voir Limitations.

Épingler des runs

Épinglez des runs pour les garder facilement accessibles en haut de votre Workspace. Pour masquer un run épinglé ou de référence, cliquez sur l’icône . Pour afficher un run masqué, cliquez sur l’icône . Les runs épinglés apparaissent en haut du sélecteur de runs avec une icône d’épingle circulaire, séparés des autres runs par un séparateur visuel. Pour épingler un run :
  1. Accédez à votre Workspace.
  2. Dans le sélecteur de runs ou le tableau des runs, trouvez le run que vous souhaitez épingler.
  3. Cliquez sur le menu action (), puis sélectionnez Pin run.
Vous pouvez épingler jusqu’à 20 runs dans un Workspace. Si vous avez un run de référence, vous pouvez épingler jusqu’à 19 runs, car le run de référence est épinglé implicitement.
Tableau des runs avec des runs épinglés
Pour désépingler un run, cliquez sur l’icône d’épingle, ou suivez la procédure pour épingler le run, mais sélectionnez Unpin run à la place. Les runs que vous épinglez dans un projet n’ont d’effet que sur votre vue Workspace personnelle ou enregistrée, y compris les runs épinglés depuis un autre projet.

Comparer des runs entre plusieurs projets

Comparez des runs de différents projets en sélectionnant des runs d’un autre projet et en les épinglant à votre Workspace actuel.
  1. Accédez au Workspace de votre projet.
  2. Cliquez sur le bouton Select runs from another project (petit carré à coins arrondis avec une flèche diagonale) en haut du sélecteur de runs de votre Workspace ou du tableau des runs.
Tableau des runs avec des runs épinglés depuis un autre projet
  1. Dans la fenêtre modale, sélectionnez un projet dans la liste déroulante Source project.
  2. Recherchez dans les runs du projet source celui que vous voulez comparer. Vous pouvez rechercher par nom de run ou par ID unique.
  3. Cochez la case en regard de chaque run que vous voulez comparer, puis cliquez sur Épingler des runs.
Les runs que vous épinglez depuis un autre projet s’affichent dans le sélecteur de runs ou le tableau des runs. Les runs épinglés depuis d’autres projets comportent une icône en cercle ouvert à côté de leur nom. Pour voir de quel projet provient un run épinglé, survolez son nom. Les Artifacts, les logs et les autres détails des runs épinglés renvoient au run d’origine. W&B n’importe pas ces données dans le projet ou le Workspace actuels. Pour afficher les détails d’un run épinglé depuis un autre projet, cliquez sur ce run. W&B ouvre les détails du run d’origine dans un nouvel onglet du navigateur. Pour comparer des runs de différents projets, épinglez les runs que vous voulez comparer, puis utilisez les graphiques en courbes pour les comparer visuellement.

Gérer et comparer le run de référence

Vous pouvez désigner un run comme référence du Workspace afin de l’utiliser comme point de comparaison pour évaluer les autres runs de votre Workspace. Dans le sélecteur de runs et le tableau des runs, le run de référence apparaît en haut, à côté des runs épinglés, avec une icône de signet au lieu d’une épingle. Dans les graphiques en courbes, les lignes du run de référence apparaissent plus épaisses que les autres. Lorsque vous survolez le graphique ou la légende, la ligne du run de référence s’affiche en pointillés.
Démo de la comparaison d'un autre run avec le run de référence

Définir un run de référence

Pour définir un run de référence :
  1. Accédez à votre Workspace.
  2. Dans le sélecteur de runs ou le tableau des runs, repérez le run que vous souhaitez utiliser comme référence.
  3. Cliquez sur le menu d’action (), puis sélectionnez Définir comme référence.
Le run de référence apparaît en haut du sélecteur de runs, séparé des autres runs par un séparateur visuel. Le run de référence est indiqué par une icône de signet au lieu d’un cercle.
Tableau Runs montrant un run de référence et des runs épinglés

Changer le run de référence

Un seul run peut servir de référence à la fois. Pour changer le run de référence :
  1. Accédez à votre Workspace.
  2. Dans le sélecteur de runs ou le tableau des Runs, trouvez le run que vous souhaitez utiliser comme nouvelle référence.
  3. Cliquez sur le menu d’action (), puis sélectionnez Remplacer la référence.
    Si l’élément de menu est inactif, assurez-vous qu’au moins un emplacement d’épinglage est disponible. Si nécessaire, désépinglez un run épinglé en cliquant sur l’icône d’épingle circulaire à côté de ce run.
  4. Le nouveau run devient la référence, et la référence précédente est automatiquement épinglée afin que vous puissiez la retrouver facilement. Si vous le souhaitez, désépinglez-la en cliquant sur son icône d’épingle.

Supprimer la désignation de référence

Pour supprimer la désignation de référence :
  1. Accédez à votre Workspace.
  2. Dans le sélecteur de runs ou le tableau des Runs, recherchez le run de référence actuel.
  3. Cliquez sur le menu d’action (), puis sélectionnez Supprimer la référence.
    Si cette option de menu est grisée, assurez-vous qu’au moins un emplacement d’épinglage est disponible. Si nécessaire, désépinglez un run épinglé en cliquant sur l’icône d’épingle circulaire à côté de ce run.
  4. La référence précédente est automatiquement épinglée afin que vous puissiez la retrouver facilement. Si vous le souhaitez, désépinglez-la en cliquant sur son icône d’épingle.

Comparez les runs au run de référence

Le run de référence est toujours visible dans les graphiques en courbes pour les métriques qu’il a enregistrées. Dans les graphiques en courbes, les lignes du run de référence apparaissent plus épaisses que les autres lignes.
  • Survolez une partie du graphique pour afficher une info-bulle contenant les valeurs de tous les runs visibles, y compris le run de référence et les runs épinglés.
    Démonstration montrant les détails de tous les runs visibles à un point donné
  • Survolez l’étiquette de légende du run de référence pour mettre la ligne en évidence. Elle apparaît sous la forme d’une ligne pointillée épaisse. Les lignes des autres runs visibles apparaissent avec une saturation réduite.
    Démonstration montrant les détails du run de référence
  • Survolez l’étiquette de légende d’un autre run pour mettre en évidence la ligne de ce run et la comparer au run de référence, qui apparaît sous la forme d’une ligne pointillée épaisse. Les lignes des autres runs visibles apparaissent avec une saturation réduite.
    Démonstration de la comparaison d’un autre run avec le run de référence

Deltas des métriques de synthèse

Lorsqu’un run est défini comme référence, chaque autre run qui enregistre la même métrique de synthèse que le run de référence affiche, par défaut, le delta (la variation) de cette métrique par rapport à la référence. Le delta apparaît à droite de la valeur de la métrique, sur la ligne du run dans le tableau des runs. Par défaut, le delta s’affiche en gris foncé sur un fond gris foncé. Pour activer une coloration sémantique permettant un repérage visuel rapide, vous pouvez définir la directionnalité de la métrique pour une colonne. Une fois la directionnalité définie :
  • Si l’autre run surpasse (est directionnellement meilleur que) la référence, le delta s’affiche en rouge foncé sur un fond rouge clair.
  • Si l’autre run est moins performant (est directionnellement moins bon que) la référence, le delta s’affiche en bleu canard foncé sur un fond bleu canard clair.
Pour définir la directionnalité d’une métrique :
  1. Dans le tableau des runs, survolez l’en-tête de la colonne de la métrique.
  2. Cliquez sur le menu d’action () qui apparaît.
  3. Définissez Directionnalité de la métrique sur Les valeurs les plus élevées sont préférables ou Les valeurs les plus faibles sont préférables.
La capture d’écran suivante montre comment les runs nanochat-train-base et nanochat-train-mid se comparent au run de référence nanochat-train. Des métriques delta sont affichées pour TOTAL_TRAINING_TIME, TRAIN/DT et TRAIN/GRAD_NORM. Capture d’écran comparant les deltas des métriques de synthèse par rapport au run de référence

Masquer les deltas des métriques de synthèse dans un workspace

Par défaut, un workspace avec un run de référence affiche toujours les deltas des métriques de synthèse. Pour les masquer dans un workspace :
  1. Dans le workspace, cliquez sur Settings.
  2. Dans le volet qui s’ouvre, cliquez sur Runs.
  3. Dans l’onglet Baseline, basculez Show value deltas in the runs table.
  4. Fermez le volet des paramètres du workspace.

Cas d’usage

Cette section décrit quelques scénarios dans lesquels les runs épinglés et les runs de référence peuvent vous aider à orienter vos expériences.
  • Suivre les modèles en Production : assurez-vous que les nouveaux modèles atteignent votre niveau de qualité avant le déploiement.
    1. Définissez votre modèle en Production comme référence.
    2. Comparez toutes les expériences à votre modèle déployé afin d’identifier les candidats plus performants que celui en Production.
  • Comparer des expériences d’hyperparamètres : évaluez des Sweeps d’hyperparamètres ou des expériences manuelles par rapport à votre meilleure configuration connue.
    1. Définissez votre meilleure configuration connue comme référence.
    2. Épinglez les candidats prometteurs à mesure que vous les identifiez.
    3. Utilisez les graphiques en courbes pour comparer visuellement les runs à la référence.
    4. Continuez à mettre à jour la référence à mesure que vous trouvez de meilleures configurations.

Exemple de flux de travail

Cette section montre comment les runs épinglés et les runs de référence peuvent vous aider à comparer des runs.
  1. Exécutez cet exemple de code, qui simule un scénario d’ajustement d’hyperparamètres avec une série de runs. Remplacez les espaces réservés entourés de chevrons (<>) par vos propres valeurs.
    import wandb
    import random
    import math
    
    def train_model(learning_rate, batch_size, run_name, tags=None):
        """Simuler l'entraînement d'un modèle avec les hyperparamètres donnés."""
        config = {
            "learning_rate": learning_rate,
            "batch_size": batch_size,
            "optimizer": "adam",
            "architecture": "resnet50"
        }
        
        with wandb.init(
          # Remplacez par votre équipe et le nom de votre projet
            project="hyperparameter-tuning",
            entity="<team>",
            name=run_name,
            config=config,
            tags=tags or []
        ) as run:
            # Simuler la boucle d'entraînement
            for epoch in range(50):
                # Métriques simulées
                accuracy = 0.6 + 0.3 * (1 - math.exp(-learning_rate * epoch / 10))
                loss = 1.0 * math.exp(-learning_rate * epoch / 10)
                
                run.log({
                    "epoch": epoch,
                    "accuracy": accuracy,
                    "loss": loss
                })
    
    # Créer le run de référence avec la configuration standard
    train_model(
        learning_rate=0.001,
        batch_size=64,
        run_name="baseline-config",
        tags=["baseline", "production"]
    )
    
    # Tester différentes valeurs de taux d'apprentissage
    train_model(
        learning_rate=0.003,
        batch_size=64,
        run_name="lr-experiment-0.003",
        tags=["experiment"]
    )
    
    train_model(
        learning_rate=0.0001,
        batch_size=64,
        run_name="lr-experiment-0.0001",
        tags=["experiment"]
    )
    
    Après avoir exécuté ce code, votre Workspace contient trois runs.
  2. Définissez baseline-config comme run de référence.
  3. Épinglez baseline-config pour le garder visible.
  4. Comparez les runs d’expérience au run de référence.
  • Dans le tableau des runs, examinez les deltas des métriques de synthèse affichés à côté des valeurs de chaque run pour comparer ce run à la référence.
    • Dans les graphiques en courbes, comparez les performances d’un ou de plusieurs runs à la référence, qui reste toujours visible.
  1. Épinglez les expériences prometteuses pour les examiner plus en détail. Dans cet exemple, après 50 époques, lr-experiment-0.003 a l’accuracy la plus élevée (~0.64) et la perte la plus faible (~0.86).

Limitations

Les fonctionnalités suivantes ne sont pas encore prises en charge pour les runs épinglés et les runs de référence :
  • Regroupement : lors de la consultation des runs dans le sélecteur de runs ou le tableau des runs, si les runs sont regroupés selon une colonne, les runs épinglés et les runs de référence ne se distinguent pas visuellement des autres runs.
  • Reports : dans un ensemble de runs d’un W&B Report, les runs épinglés et les runs de référence ne se distinguent pas visuellement des autres runs.
  • Vue Workspace uniquement : le run de référence n’apparaît pas lors de l’affichage du Workspace d’un seul run.
  • Graphiques en courbes uniquement : la comparaison avec la référence est disponible uniquement pour les graphiques en courbes et n’est pas encore disponible pour les autres panneaux, comme les graphiques en barres ou les panneaux média.