Ce tutoriel explique comment créer des jobs de sweep à partir d’un projet W&B existant. Il vous guide dans la création d’un projet de référence, la configuration d’un sweep d’hyperparamètres et le lancement d’agents qui exécutent des tâches d’entraînement en parallèle.
Vous utilisez le jeu de données Fashion MNIST pour entraîner un réseau neuronal convolutif PyTorch à classer des images. Le dépôt W&B examples (PyTorch CNN Fashion) fournit le code et le jeu de données requis.
Explorez les résultats dans ce tableau de bord W&B.
Commencez par créer un projet de référence en entraînant le modèle d’exemple au moins une fois. Cette référence fournit au sweep une base de configuration pour les étapes suivantes. Téléchargez le modèle d’exemple PyTorch pour le dataset MNIST depuis le dépôt GitHub W&B examples. Ensuite, entraînez le modèle. Le script d’entraînement se trouve dans le répertoire examples/pytorch/pytorch-cnn-fashion.
Pour télécharger et entraîner le modèle d’exemple :
-
Clonez le dépôt :
-
Accédez au répertoire de l’exemple :
-
Exécutez manuellement le script d’entraînement :
-
Facultatif : explorez l’exemple dans le tableau de bord de W&B App. Voir une page de projet d’exemple.
Une fois cette exécution initiale terminée, vous disposez d’un projet de référence dans W&B sur lequel le sweep peut s’appuyer.
Une fois votre projet de référence en place, vous pouvez configurer un sweep à partir de ses runs. Depuis la page de votre projet, ouvrez l’onglet Sweep dans la barre latérale du projet et sélectionnez Create Sweep.
La configuration générée automatiquement suggère des valeurs à tester pour le sweep en fonction des runs que vous avez déjà effectués. Modifiez la configuration pour spécifier les plages d’hyperparamètres que vous voulez essayer. Lorsque vous lancez le sweep, un nouveau processus démarre sur le serveur de sweep hébergé par W&B. Ce service centralisé coordonne les agents (les machines qui exécutent les tâches d’entraînement).
Après avoir configuré le sweep, lancez un ou plusieurs agents pour exécuter les runs. Vous pouvez lancer jusqu’à 20 agents en parallèle sur différentes machines pour terminer la tâche de sweep plus rapidement. Chaque agent affiche le prochain ensemble de paramètres à utiliser.
Vous avez maintenant un sweep en cours d’exécution qui coordonne les tâches d’entraînement entre vos agents et transmet les résultats à W&B. L’image suivante montre le tableau de bord avec la tâche de sweep d’exemple en cours d’exécution.
Amorcer un nouveau sweep avec des runs existants
- Ouvrez le tableau de votre projet.
- Cliquez sur la case à cocher de la ligne du run pour sélectionner ce run.
- Dans le menu déroulant, sélectionnez l’option pour créer un nouveau sweep.
Votre sweep est maintenant configuré sur le serveur. Lancez un ou plusieurs agents pour démarrer les runs.
Si vous démarrez le nouveau sweep en tant que sweep bayésien, les runs sélectionnés servent également à initialiser le processus gaussien.
