Comment puis-je définir des valeurs d'hyperparamètre par défaut dans un sweep ?

Vous n’avez pas besoin de fournir une valeur pour chaque hyperparamètre dans un W&B Sweep. Vous pouvez définir des valeurs par défaut et laisser le sweep les remplacer. Accédez aux noms et aux valeurs des hyperparamètres à partir de la configuration du sweep avec run.config, qui fonctionne comme un dictionnaire. Pour les runs en dehors d’un sweep, définissez les valeurs de run.config en passant un dictionnaire à l’argument config dans wandb.init(). Dans un sweep, toute configuration transmise à wandb.init() sert de valeur par défaut que le sweep peut remplacer. Utilisez run.config.setdefaults() pour définir explicitement ce comportement. Les extraits de code suivants illustrent les deux méthodes :

wandb.init()
config.setdefaults()

# Définissez des valeurs par défaut pour les hyperparamètres
config_defaults = {"lr": 0.1, "batch_size": 256}

# Démarrez un run et fournissez des valeurs par défaut
# qu'un sweep peut remplacer
with wandb.init(config=config_defaults) as run:
    # Ajoutez le code d'entraînement ici
    ...

# Définissez des valeurs par défaut pour les hyperparamètres
config_defaults = {"lr": 0.1, "batch_size": 256}

# Démarrez un run
with wandb.init() as run:
    # Mettez à jour toutes les valeurs non définies par le sweep
    run.config.setdefaults(config_defaults)

    # Ajoutez le code d'entraînement ici

Sweeps