Télécharger et utiliser des artifacts

Téléchargez et utilisez un artifact déjà stocké sur le serveur W&B, ou créez un objet artifact et transmettez-le pour déduplication si nécessaire.

Les membres de l’équipe disposant d’une licence Models Viewer ne peuvent pas télécharger d’artifacts.

Télécharger et utiliser un artifact stocké sur W&B

Téléchargez un artifact comme entrée d’un run suivie lorsqu’il s’agit d’une dépendance du run, ou récupérez-le directement pour les flux de travail qui ne nécessitent pas de traçabilité.

Les références dont le schéma est pris en charge par W&B sont téléchargées de la même manière que les fichiers d’artifact. Pour plus d’informations, voir Suivre les fichiers externes.

Vous pouvez télécharger tous les fichiers d’un artifact ou seulement certains fichiers :

Utilisez Artifact.download() pour télécharger tous les fichiers.
Utilisez Artifact.get_entry() pour récupérer une entrée spécifique, puis appelez .download() pour la télécharger.

Suivre l’entrée du run
Récupérer directement
W&B CLI

Utilisez wandb.Run.use_artifact() pour télécharger un artifact dans le cadre d’un run W&B. W&B enregistre l’artifact comme entrée du run.

Importez le SDK Python W&B et initialisez un Run W&B.
Récupérez la version de l’artifact avec wandb.Run.use_artifact().
Téléchargez tous les fichiers ou un fichier spécifique à partir de l’objet Artifact renvoyé.

import wandb    

with wandb.init(project="project-name", job_type="job-type") as run:
    # Indiquez l’artefact à utiliser. Le format est "name:alias"
    artifact = run.use_artifact("bike-dataset:latest")

    # Télécharger l’artefact entier
    datadir = artifact.download()

    # Télécharger un fichier spécifique
    entry = artifact.get_entry("bike.png")
    file_path = entry.download() # télécharge uniquement bike.png

Utilisez l’API publique pour télécharger un artifact sans créer de run ni enregistrer de relation d’entrée de run.

Importez le SDK Python W&B et créez un objet client avec wandb.Api().
Récupérez la version de l’artifact avec wandb.Api.artifact().
Téléchargez tous les fichiers ou un fichier spécifique à partir de l’objet Artifact renvoyé.

Spécifiez le chemin de l’artifact au format entity/project/artifact:alias.

import wandb

api = wandb.Api()
artifact = api.artifact("entity/project/artifact:alias")
artifact.download()

Utilisez la commande wandb artifact get pour télécharger un artifact depuis le serveur W&B.

$ wandb artifact get project/artifact:alias --root mnist/

Télécharger partiellement un artifact

Vous pouvez télécharger, si vous le souhaitez, une partie d’un artifact à l’aide d’un préfixe. Utilisez le paramètre path_prefix= (wandb.Artifact.download(path_prefix=)) pour télécharger un seul fichier ou le contenu d’un sous-dossier.

with wandb.init(project="project-name", job_type="job-type") as run:
    # Indiquer l'artifact à utiliser. Le format est "name:alias"
    artifact = run.use_artifact("bike-dataset:latest")

    # Télécharger un fichier spécifique ou un sous-dossier
    artifact.download(path_prefix="bike.png") # télécharge uniquement bike.png

Vous pouvez aussi télécharger des fichiers depuis un répertoire donné. Pour ce faire, indiquez ce répertoire à l’aide du paramètre path_prefix=. En reprenant à partir de l’extrait de code précédent :

# télécharge les fichiers dans le répertoire images/bikes
artifact.download(path_prefix="images/bikes/") 

Vérifier les fichiers d’artifact téléchargés

Après avoir téléchargé un artifact, appelez wandb.Artifact.verify() pour vérifier que les fichiers locaux présents sur le disque correspondent au manifest de l’artifact. L’exemple suivant télécharge un artifact dans le cadre d’un run, puis vérifie les fichiers téléchargés :

import wandb

with wandb.init(project="project-name", job_type="job-type") as run:
    artifact = run.use_artifact("entity/project/my-dataset:latest")
    artifact_dir = artifact.download()
    artifact.verify(artifact_dir)

wandb.Artifact.verify() recalcule les sommes de contrôle des fichiers locaux et les compare à celles du manifest de l’artifact. La vérification échoue si un fichier est manquant ou modifié, ou si le répertoire contient des fichiers qui ne font pas partie de l’artifact.

Considérations relatives à la vérification des artifacts

wandb.Artifact.verify() ne vérifie pas les entrées de référence.
Les artifacts créés avec digest_algorithm="XXH128" nécessitent la version 0.29.0 ou ultérieure du SDK Python W&B pour pouvoir utiliser wandb.Artifact.verify(). Les versions antérieures du SDK ne prennent pas en charge les entrées de manifest XXH128 : la vérification échoue donc.

Utiliser un artifact d’un autre projet

Spécifiez le nom de l’artifact ainsi que celui du projet pour faire référence à un artifact. Vous pouvez également faire référence à des artifacts d’autres entités en indiquant le nom de l’artifact avec le nom de l’entité. L’exemple de code suivant montre comment récupérer un artifact d’un autre projet comme entrée pour le run W&B en cours.

with wandb.init(project="project-name", job_type="job-type") as run:
    # Récupérer un artifact W&B d'un autre projet et le marquer
    # comme entrée pour ce run.
    artifact = run.use_artifact("my-project/artifact:alias")

    # Utiliser un artifact d'une autre entité et le marquer comme entrée
    # pour ce run.
    artifact = run.use_artifact("my-entity/my-project/artifact:alias")

Construire et utiliser un artifact en même temps

Construisez et utilisez un artifact en même temps. Créez un objet artifact et passez-le à use_artifact. Cela crée un artifact dans W&B s’il n’existe pas encore. L’API wandb.Run.use_artifact() est idempotente, vous pouvez donc l’appeler autant de fois que vous le souhaitez.

import wandb

with wandb.init(project="project-name", job_type="job-type") as run:
    artifact = wandb.Artifact("reference model")
    artifact.add_file("model.h5")
    run.use_artifact(artifact)

Pour en savoir plus sur la création d’un artifact, voir Construire un artifact.

Guides

Intégrations

Référence

Télécharger et utiliser un artifact stocké sur W&B

Télécharger partiellement un artifact

Vérifier les fichiers d’artifact téléchargés

Utiliser un artifact d’un autre projet

Construire et utiliser un artifact en même temps

​Télécharger et utiliser un artifact stocké sur W&B

​Télécharger partiellement un artifact

​Vérifier les fichiers d’artifact téléchargés

​Utiliser un artifact d’un autre projet

​Construire et utiliser un artifact en même temps

Télécharger et utiliser un artifact stocké sur W&B

Télécharger partiellement un artifact

Vérifier les fichiers d’artifact téléchargés

Utiliser un artifact d’un autre projet

Construire et utiliser un artifact en même temps