Cette fonctionnalité nécessite python>=3.8
Importer des données depuis MLFlow
importer.collect_runs() collecte toutes les exécutions du serveur MLFlow. Si vous préférez téléverser uniquement un sous-ensemble particulier, vous pouvez créer votre propre itérable de runs et le passer à l’importateur.
Vous devrez peut-être configurer d’abord le Databricks CLI si vous importez depuis Databricks MLflow.Lors de l’étape précédente, définissez
mlflow-tracking-uri="databricks".artifacts=False :
Namespace :
Exporter des données
- Exporter des données : récupérez un dataframe pour effectuer une analyse personnalisée dans un notebook Jupyter. Une fois les données explorées, vous pouvez synchroniser vos résultats en créant un nouveau run d’analyse et en enregistrant les résultats, par exemple :
wandb.init(job_type="analysis") - Mettre à jour des Runs existants : vous pouvez mettre à jour les données enregistrées pour un run W&B. Par exemple, vous pouvez vouloir mettre à jour la configuration d’un ensemble de runs afin d’y inclure des informations supplémentaires, comme l’architecture ou un hyperparamètre qui n’avait pas été enregistré à l’origine.
Créer une clé API
- Clé API personnelle
- Clé API de compte de service
Pour créer une clé API personnelle liée à votre ID utilisateur :
- Connectez-vous à W&B, puis cliquez sur l’icône de votre profil > Paramètres utilisateur.
- Cliquez sur Create new API key.
- Saisissez un nom descriptif pour votre clé API.
- Cliquez sur Create.
- Copiez immédiatement la clé API affichée et stockez-la de manière sécurisée.
Stockez et manipulez les clés API en toute sécurité
Méthodes de stockage recommandées
- Gestionnaire de secrets : Utilisez un système dédié de gestion des secrets, tel que AWS Secrets Manager, HashiCorp Vault, Azure Key Vault ou Google Secret Manager.
- Gestionnaire de mots de passe : Utilisez une application de gestion de mots de passe fiable.
- Trousseaux du système d’exploitation : Stockez les clés dans le Trousseau macOS, le Gestionnaire d’identifiants Windows ou le service de secrets Linux. Déconseillé en production.
Ce qu’il faut éviter
- N’enregistrez jamais de clés API dans un système de gestion de versions comme Git.
- Ne stockez pas de clés API dans des fichiers de configuration en texte brut.
- Ne transmettez pas de clés API en ligne de commande, car elles seront visibles dans la sortie de commandes du système d’exploitation telles que
ps. - Évitez de partager des clés API par e-mail, via le chat ou par d’autres canaux non chiffrés.
- N’intégrez pas de clés API en dur dans votre code source.
Variables d’environnement
Compatibilité des versions du SDK
wandb ou weave, vous pouvez rencontrer une erreur liée à la longueur de la clé API.
Solution : mettez à jour vers une version plus récente du SDK :
-
wandbSDK v0.22.3+ -
weaveSDK v0.52.17+
WANDB_API_KEY pour définir la clé API en guise de solution de contournement.
Trouver le chemin du run
<entity>/<project>/<run_id>. Dans l’interface de l’application, ouvrez la page d’un run et cliquez sur l’onglet Vue d’ensemble pour obtenir le chemin du run.
Exporter les données d’un run
Vous pouvez également modifier ou mettre à jour les données de runs passés. Par défaut, une seule instance d’un objet API met en cache toutes les requêtes réseau. Si votre cas d’utilisation nécessite des informations en temps réel dans un script en cours d’exécution, appelez
api.flush() pour obtenir des valeurs mises à jour.
Comprendre les différents attributs d’un run
run.config
run.summary
Échantillonnage
samples __). Si vous souhaitez exporter toutes les données d’un run de grande taille, vous pouvez utiliser la méthode run.scan_history(). Pour en savoir plus, voir la Référence de l’API.
Interroger plusieurs runs
- DataFrame et CSV
- Style MongoDB
Ce script d’exemple recherche un projet et génère un CSV des runs avec leur nom, leur configuration et leurs statistiques de synthèse. Remplacez
<entity> et <project> par votre entité W&B et le nom de votre projet, respectivement.api.runs renvoie un objet Runs itérable qui se comporte comme une liste. Par défaut, l’objet charge 50 runs à la fois, séquentiellement et selon les besoins, mais vous pouvez modifier le nombre chargé par page avec l’argument nommé per_page.
api.runs accepte également un argument nommé order. L’ordre par défaut est -created_at. Pour trier les résultats par ordre croissant, indiquez +created_at. Vous pouvez également trier par des valeurs de config ou de synthèse. Par exemple, summary.val_acc ou config.experiment_name.
Gestion des erreurs
wandb.CommError est levée. Vous pouvez examiner l’exception d’origine via l’attribut exc.
Obtenir le dernier commit git via l’API
wandb-metadata.json . Avec l’API publique, vous pouvez obtenir le hachage git avec run.commit.
Obtenir le nom et l’ID d’un run pendant un run actif
wandb.init(), vous pouvez accéder depuis votre script à l’ID aléatoire du run ou à son nom lisible, comme ceci :
- ID unique du run (hachage de 8 caractères) :
run.id - Nom aléatoire du run (lisible) :
run.name
- ID du run : laissez le hachage généré tel quel. Il doit être unique parmi les runs de votre projet.
- Nom du run : il doit être court, lisible et de préférence unique, afin que vous puissiez distinguer les différentes lignes sur vos graphiques.
- Notes du run : c’est l’endroit idéal pour ajouter une brève description de ce que vous faites dans ce run. Vous pouvez les définir avec
wandb.init(notes="your notes here") - Tags du run : utilisez les tags du run pour suivre des éléments de manière dynamique, puis utilisez des filtres dans l’UI pour n’afficher dans votre tableau que les runs qui vous intéressent. Vous pouvez définir les tags depuis votre script, puis les modifier dans l’UI, à la fois dans le tableau des Runs et dans l’onglet Vue d’ensemble de la page du run. Voir les instructions détaillées ici.
Exemples d’utilisation de l’API publique
Exporter des données pour les visualiser dans matplotlib ou seaborn
Lire les métriques d’un run
run.log({"accuracy": acc}) pour un run enregistré sous "<entity>/<project>/<run_id>".
Filtrer les runs
Date
Lire des métriques spécifiques d’un run
keys. Le nombre d’échantillons par défaut lors de l’utilisation de run.history() est de 500. Les étapes enregistrées qui n’incluent pas de métrique spécifique apparaîtront dans le dataframe de sortie sous la forme de NaN. L’argument keys fera en sorte que l’API échantillonne plus fréquemment les étapes qui incluent les clés de métrique listées.
Comparer deux runs
run1 et run2.
Mettre à jour les métriques d’un run après la fin du run
accuracy d’un run précédent à 0.9. Il modifie également l’histogramme de accuracy d’un run précédent pour qu’il devienne l’histogramme de numpy_array.
Renommer une métrique dans un run terminé
Le changement de nom d’une colonne s’applique uniquement aux tableaux. Les graphiques continueront d’utiliser les noms d’origine des métriques.
Mettre à jour la configuration d’un run existant
Exporter l’utilisation des ressources système vers un fichier CSV
Obtenir des données de métriques non échantillonnées
run.scan_history(). Voici un exemple qui télécharge tous les points de données loss enregistrés dans l’historique.
Obtenir des données paginées dans l’historique
run.scan_history(). L’historique non échantillonné inclut chaque enregistrement de l’historique du run. En revanche, la vue échantillonnée de run.history() peut omettre certains enregistrements.
Le paramètre page_size contrôle le nombre maximum d’enregistrements d’historique récupérés par requête API et vaut par défaut 1000. Si les requêtes sont lentes ou expirent, essayez une taille de page plus petite. Des pages plus petites peuvent réduire le risque d’expiration, mais nécessitent davantage de requêtes API.
Le paramètre keys permet de filtrer indépendamment les métriques renvoyées.
Exporter les métriques de tous les runs d’un projet dans un fichier CSV
<entity> et <project> par votre entité W&B et le nom de votre projet, respectivement.
Obtenir l’heure de début d’un run
Importer des fichiers dans un run terminé
Télécharger un fichier d’un run
Télécharger tous les fichiers d’un run
Obtenir les runs d’un balayage spécifique
Obtenir le meilleur run d’un balayage
best_run correspond au run présentant la meilleure métrique, telle que définie par le paramètre metric dans la configuration du balayage.
Télécharger le fichier du meilleur modèle depuis un balayage
model.h5.