Skip to main content
Cette page décrit deux méthodes à utiliser ensemble pour réduire les temps de nettoyage trop longs lorsque vous exécutez des évaluations W&B Weave sur de grands jeux de données. Elle s’adresse aux utilisateurs qui ont constaté des délais inhabituels après la fin de leur code d’évaluation, avant la fermeture du programme. Les sections suivantes décrivent comment purger les tâches en arrière-plan en attente et comment augmenter le parallélisme côté client.

​
Traiter les tâches en arrière-plan en attente

Le vidage force l’exécution des tâches en arrière-plan en attente en parallèle avec votre thread principal, au lieu d’attendre qu’elles se terminent une fois l’exécution de votre code achevée. Lorsque vous exécutez des évaluations sur de grands jeux de données, la fin de l’exécution du programme peut être sensiblement retardée pendant que le jeu de données est téléversé dans des threads d’arrière-plan. Cela se produit lorsque l’exécution du thread principal se termine avant la fin du nettoyage en arrière-plan. L’appel à client.flush() force le traitement de toutes les tâches en arrière-plan dans le thread principal, ce qui garantit leur exécution en parallèle pendant l’exécution du thread principal. Cela peut améliorer les performances lorsque le code utilisateur se termine avant le téléversement des données vers le serveur. L’exemple suivant traite les tâches en arrière-plan en attente après une évaluation : 
client = weave.init("fast-upload")

# ... configuration de l'évaluation
result = evaluation.Evaluate(dataset_id="my_dataset_id")

client.flush()

​
Augmenter le parallélisme du client

Augmenter le parallélisme du client permet à Weave d’utiliser davantage de threads pour les tâches en arrière-plan, comme le téléversement de jeux de données, ce qui peut encore réduire le temps de nettoyage en complément du vidage. Weave détermine automatiquement le parallélisme du client en fonction de l’environnement, mais vous pouvez le définir manuellement à l’aide de la variable d’environnement suivante :
  • WEAVE_CLIENT_PARALLELISM : nombre de threads disponibles pour le traitement parallèle. Augmenter cette valeur peut améliorer les performances des tâches en arrière-plan, comme le téléversement de jeux de données.
Vous pouvez également le définir par programmation à l’aide de l’argument settings de weave.init() : 
client = weave.init("fast-upload", settings={"client_parallelism": 100})
Performances Évaluation