Passer au contenu principal
Les jobs d’Évaluation LLM sont en Aperçu sur W&B Multi-tenant Cloud. Les ressources de calcul sont gratuites pendant la période d’aperçu. Voir la tarification des jobs d’Évaluation LLM pour plus de détails.
Cette page explique comment utiliser les LLM Evaluation Jobs pour exécuter une série de benchmarks d’évaluation sur un modèle affiné dans W&B Models, à l’aide d’une infrastructure gérée par CoreWeave. Pour évaluer un modèle d’API hébergé accessible via une URL publique, consultez plutôt Évaluer un modèle d’API hébergé, ou exécutez un petit benchmark sur un endpoint de modèle OpenAI public avec un Démarrage rapide simplifié.

​
Prérequis

Avant d’évaluer un point de contrôle du modèle, effectuez les opérations suivantes :
  1. Consultez les exigences et limitations relatives aux jobs d’évaluation de LLM.
  2. Pour exécuter certains benchmarks, un administrateur d’équipe doit ajouter les clés API requises en tant que secrets au niveau de l’équipe. Tout membre de l’équipe peut ensuite spécifier le secret lors de la configuration d’un job d’évaluation. Voir le catalogue des modèles d’évaluation pour connaître les exigences.
    • Une clé API OpenAPI : utilisée par les benchmarks qui s’appuient sur des modèles OpenAI pour le scoring. Requise si le champ Scorer API key apparaît après la sélection d’un benchmark. Le secret doit être nommé OPENAI_API_KEY.
    • Un jeton d’accès utilisateur Hugging Face : requis pour certains benchmarks, comme lingoly et lingoly2, qui nécessitent l’accès à un ou plusieurs Datasets Hugging Face à accès restreint. Requis si le champ Hugging Face token apparaît après la sélection d’un benchmark. La clé API doit donner accès au jeu de données concerné. Consultez la documentation Hugging Face sur les jetons d’accès utilisateur et l’accès aux jeux de données à accès restreint.
  3. Créez un nouveau projet W&B pour les résultats de l’évaluation. Dans la barre latérale du projet, cliquez sur Créer un projet.
  4. Préparez le modèle dans un format compatible avec vLLM et enregistrez-le comme artefact dans W&B Models. Toute tentative d’exécuter un benchmark sur un autre type d’artefact échoue. Pour une méthode possible, voir la section suivante Exemple : préparer un modèle.
  5. Consultez la documentation du benchmark concerné pour comprendre son fonctionnement et connaître ses exigences spécifiques. Pour vous faciliter la tâche, la référence Benchmarks d’évaluation disponibles inclut les liens pertinents.

​
Évaluez votre modèle

Après avoir rempli les prérequis, suivez ces étapes pour configurer et lancer un job d’évaluation :
  1. Connectez-vous à W&B, puis cliquez sur Launch dans la barre latérale du projet. La page LLM Evaluation Jobs s’affiche.
  2. Cliquez sur Evaluate model checkpoint pour configurer le job d’évaluation.
  3. Sélectionnez un projet de destination où enregistrer les résultats de l’évaluation.
  4. Dans la section Model artifact, indiquez le projet, l’artefact et la version du modèle préparé à évaluer.
  5. Cliquez sur Evaluations, puis sélectionnez jusqu’à quatre benchmarks.
  6. Si vous sélectionnez des benchmarks qui utilisent des modèles OpenAI pour le scoring, le champ Scorer API key s’affiche. Cliquez dessus, puis sélectionnez le secret OPENAI_API_KEY. Pour plus de commodité, un administrateur d’équipe peut créer un secret depuis ce panneau en cliquant sur Create secret.
  7. Si vous sélectionnez des benchmarks qui nécessitent l’accès à des jeux de données à accès restreint dans Hugging Face, un champ Hugging Face token s’affiche. Demandez l’accès au jeu de données concerné, puis sélectionnez le secret qui contient le jeton d’accès utilisateur Hugging Face.
  8. Facultatif : définissez Sample limit sur un entier positif pour limiter le nombre maximal d’échantillons de benchmark à évaluer. Sinon, le job inclut tous les échantillons de la tâche.
  9. Pour créer automatiquement un classement, cliquez sur Publish results to leaderboard. Le classement affichera toutes les évaluations dans un panneau Workspace, et vous pourrez aussi le partager dans un rapport.
  10. Cliquez sur Launch pour lancer le job d’évaluation.
  11. Cliquez sur l’icône en forme de flèche circulaire en haut de la page pour ouvrir la fenêtre modale des runs récents. Les jobs d’évaluation apparaissent avec vos autres runs récents. Cliquez sur le nom d’un run terminé pour l’ouvrir dans la vue d’un seul run, ou cliquez sur le lien Leaderboard pour ouvrir directement le classement. Pour en savoir plus, voir Afficher les résultats.
Après avoir évalué votre premier modèle, de nombreux champs sont préremplis avec les valeurs les plus récentes lorsque vous configurez votre prochain job d’évaluation.
Cet exemple de job d’évaluation exécute deux benchmarks sur un artefact :
Exemple de job d'évaluation de point de contrôle du modèle
Cet exemple de classement visualise les performances de plusieurs modèles :
Exemple de classement visualisant les performances de plusieurs modèles sur plusieurs tâches de benchmark

​
Consulter les résultats de l’évaluation

Consultez les résultats de votre job d’évaluation dans W&B Models, dans le Workspace du projet de destination.
  1. Cliquez sur l’icône en forme de flèche circulaire en haut de la page pour ouvrir la fenêtre modale des runs récents, où les jobs d’évaluation apparaissent avec les autres Runs du projet. Si le job d’évaluation comporte un leaderboard, cliquez sur Leaderboard pour l’ouvrir en plein écran, ou cliquez sur un nom de run pour l’ouvrir dans le projet en vue d’exécution unique.
  2. Consultez les traces du job d’évaluation dans la section Évaluations d’un Workspace ou dans l’onglet Traces du panneau latéral Weave.
  3. Cliquez sur l’onglet Aperçu pour afficher des informations détaillées sur le job d’évaluation, notamment sa configuration et ses métriques récapitulatives.
  4. Cliquez sur l’onglet Logs pour afficher, rechercher ou télécharger les journaux de débogage du job d’évaluation.
  5. Cliquez sur l’onglet Files pour parcourir, afficher ou télécharger les fichiers du job d’évaluation, y compris le code, les journaux, la configuration et d’autres fichiers de sortie.

​
Personnaliser un leaderboard

Le leaderboard affiche les résultats de tous les jobs d’évaluation envoyés à un projet donné, avec une ligne par benchmark et par job d’évaluation. Les colonnes affichent des détails tels que la trace, les valeurs d’entrée et les valeurs de sortie du job d’évaluation. Pour en savoir plus sur les leaderboards, voir Leaderboards dans Weave.
Pour donner votre avis sur un résultat depuis le leaderboard, cliquez sur l’icône emoji ou sur l’icône de discussion dans la colonne Feedback.
  • Par défaut, tous les jobs d’évaluation sont affichés. Filtrez ou recherchez un job d’évaluation à l’aide du sélecteur de run à gauche.
  • Par défaut, les jobs d’évaluation ne sont pas regroupés. Pour regrouper par une ou plusieurs colonnes, cliquez sur l’icône Group. Vous pouvez afficher ou masquer un groupe, ou développer un groupe pour voir ses Runs.
  • Par défaut, toutes les opérations sont affichées. Pour n’afficher qu’une seule opération, cliquez sur All ops et sélectionnez une opération.
  • Pour trier par une colonne, cliquez sur l’en-tête de la colonne. Pour personnaliser l’affichage des colonnes, cliquez sur Colonne.
    • Par défaut, les en-têtes sont organisés sur un seul niveau. Vous pouvez augmenter la profondeur des en-têtes pour regrouper les en-têtes associés.
    • Sélectionnez ou désélectionnez des colonnes individuelles pour les afficher ou les masquer, ou affichez ou masquez toutes les colonnes en un clic.
    • Épinglez des colonnes pour les afficher avant les colonnes non épinglées.

​
Exporter un leaderboard

Pour exporter un leaderboard :
  1. Cliquez sur l’icône de téléchargement, située à côté du bouton Colonnes.
  2. Pour réduire la taille de l’export, W&B exporte uniquement les racines de trace par défaut. Pour exporter des traces complètes, désactivez Racines de trace uniquement.
  3. Pour réduire la taille de l’export, W&B n’exporte pas le feedback ni les coûts par défaut. Pour les inclure dans l’export, activez Feedback ou Coûts.
  4. Par défaut, l’export est au format JSONL. Pour personnaliser le format, cliquez sur Exporter vers un fichier et sélectionnez un format.
  5. Pour exporter le leaderboard depuis votre navigateur, cliquez sur Exporter.
  6. Pour exporter le leaderboard par code, sélectionnez Python ou cURL, puis cliquez sur Copier et exécutez le script ou la commande.

​
Relancer un job d’évaluation

Une fois un job d’évaluation terminé, vous souhaiterez peut-être le relancer avec les mêmes paramètres ou des paramètres modifiés, ou réutiliser sa configuration comme point de départ pour un nouveau job. Selon votre situation, il existe plusieurs façons de relancer un job d’évaluation ou d’en afficher la configuration.
  • Pour relancer le dernier job d’évaluation, suivez les étapes de Évaluer votre modèle. Sélectionnez le projet de destination ; les détails de l’artifact de modèle et les benchmarks sélectionnés la dernière fois sont alors renseignés automatiquement. Au besoin, apportez des ajustements, puis lancez le job d’évaluation.
  • Pour relancer un job d’évaluation depuis l’onglet Runs du projet ou le sélecteur de run, survolez le nom du run et cliquez sur l’icône lecture. Le volet de configuration du job s’affiche avec les paramètres préremplis. Au besoin, ajustez les paramètres, puis cliquez sur Launch.
  • Pour relancer un job d’évaluation depuis un autre projet, importez sa configuration :
    1. Suivez les étapes de Évaluer votre modèle. Après avoir sélectionné le projet de destination, cliquez sur Importer la configuration.
    2. Sélectionnez le projet qui contient le job d’évaluation à importer, puis sélectionnez le run correspondant. Le volet de configuration du job s’affiche avec les paramètres préremplis.
    3. Au besoin, ajustez la configuration.
    4. Cliquez sur Launch.

​
Exporter la configuration d’un job d’évaluation

Pour enregistrer une copie locale du config.yaml d’un job d’évaluation afin de la réutiliser ou de vous y référer, exportez la configuration depuis l’onglet Files du run :
  1. Ouvrez le run dans la vue de run unique.
  2. Dans le run, sélectionnez Files.
  3. À côté de config.yaml, sélectionnez le bouton de téléchargement.

​
Exemple : Préparer un modèle

Avant de pouvoir évaluer un point de contrôle du modèle, vous devez le convertir dans un format compatible avec VLLM et l’enregistrer comme artefact dans W&B Models. Cet exemple montre une façon de procéder : 
import os
from transformers import AutoTokenizer, AutoModelForCausalLM

# Charger votre modèle
model_name = "your-model-name"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# Enregistrer au format compatible vLLM
save_dir = "path/to/save"
tokenizer.save_pretrained(save_dir)
model.save_pretrained(save_dir)

# Enregistrer dans W&B Models
import wandb
wandb_run = wandb.init(entity="your-entity-name", project="your-project-name")
artifact = wandb.Artifact(name="your-artifact-name")
artifact.add_dir(save_dir)
logged_artifact = wandb_run.log_artifact(artifact)
logged_artifact.wait()
wandb.finish()