Passer au contenu principal
Les jobs d’Évaluation LLM sont en Aperçu sur W&B Multi-tenant Cloud. Les ressources de calcul sont gratuites pendant la période d’aperçu. Voir la tarification des jobs d’Évaluation LLM pour plus de détails.
Cette page explique comment utiliser les LLM Evaluation Jobs pour exécuter une série de benchmarks d’évaluation sur un modèle d’API hébergé, accessible via une URL publique, à l’aide d’une infrastructure gérée par CoreWeave. L’exécution de ces benchmarks vous aide à comparer les performances du modèle, à valider sa qualité et à publier les résultats dans un classement partagé sans gérer votre propre infrastructure d’évaluation. Pour évaluer un point de contrôle du modèle enregistré en tant qu’artifact dans W&B Models, consultez plutôt Évaluer un point de contrôle du modèle.

​
Prérequis

Avant de créer un job d’évaluation, effectuez les opérations suivantes :
  1. Consultez les exigences et limitations des LLM Evaluation Jobs.
  2. Pour exécuter certains benchmarks, un administrateur d’équipe doit ajouter les clés API requises comme secrets au niveau de l’équipe. Tout membre de l’équipe peut ensuite spécifier le secret lors de la configuration d’un job d’évaluation.
    • Une clé API OpenAI : utilisée par les benchmarks qui se servent de modèles OpenAI pour attribuer un score. Requise si le champ clé API du scorer apparaît après avoir sélectionné un benchmark. Le secret doit être nommé OPENAI_API_KEY.
    • Un jeton d’accès utilisateur Hugging Face : requis pour certains benchmarks comme lingoly et lingoly2, qui nécessitent l’accès à un ou plusieurs jeux de données Hugging Face à accès restreint. Requis si le champ jeton Hugging Face apparaît après la sélection d’un benchmark. La clé API doit donner accès au jeu de données concerné. Voir la documentation Hugging Face sur les jetons d’accès utilisateur et l’accès aux jeux de données à accès restreint.
    • Pour évaluer un modèle fourni par Serverless Inference, un administrateur d’organisation ou d’équipe doit créer WANDB_API_KEY avec n’importe quelle valeur. Le secret n’est en réalité pas utilisé pour l’authentification.
  3. Le modèle à évaluer doit être disponible à une URL accessible publiquement. Un administrateur d’organisation ou d’équipe doit créer un secret au niveau de l’équipe contenant la clé API d’authentification.
  4. Créez un nouveau projet W&B pour les résultats de l’évaluation. Dans la barre latérale du projet, cliquez sur Create new project.
  5. Consultez la documentation du benchmark concerné pour comprendre son fonctionnement et connaître ses exigences spécifiques. La référence benchmarks d’évaluation disponibles inclut les liens pertinents.

​
Évaluez votre modèle

Suivez ces étapes pour configurer et lancer un job d’évaluation. Une fois l’opération terminée, vos runs de benchmark sont mis en file d’attente sur une infrastructure gérée par CoreWeave, et leurs résultats s’affichent dans le projet W&B de destination que vous avez spécifié.
  1. Connectez-vous à W&B, puis cliquez sur Launch dans la barre latérale du projet. La page LLM Evaluation Jobs s’affiche.
  2. Cliquez sur Évaluer un modèle d’API hébergé pour configurer l’évaluation.
  3. Sélectionnez un projet de destination dans lequel enregistrer les résultats de l’évaluation.
  4. Dans la section Model, indiquez l’URL de base et le nom du modèle à évaluer, puis sélectionnez la clé API à utiliser pour l’authentification. Fournissez le nom du modèle au format compatible OpenAI défini par l’AI Security Institute. Par exemple, indiquez un modèle OpenAI avec la syntaxe suivante, où [MODEL-NAME] est le nom du modèle : openai/[MODEL-NAME]. Pour obtenir la liste des fournisseurs de modèles hébergés et des modèles disponibles, consultez la référence des fournisseurs de modèles de l’AI Security Institute.
    • Pour évaluer un modèle fourni par Serverless Inference, définissez l’URL de base sur https://api.inference.wandb.ai/v1 et indiquez le nom du modèle avec la syntaxe suivante, où [MODEL-ID] est l’ID du modèle : openai-api/wandb/[MODEL-ID]. Consultez le catalogue des modèles Inference pour plus de détails.
    • Pour utiliser le fournisseur OpenRouter, ajoutez le préfixe openrouter au nom du modèle avec la syntaxe suivante, où [MODEL-NAME] est le nom du modèle : openrouter/[MODEL-NAME].
    • Pour évaluer un modèle personnalisé conforme à OpenAPI, indiquez le nom du modèle avec la syntaxe suivante, où [MODEL-NAME] est le nom du modèle : openai-api/wandb/[MODEL-NAME].
  5. Cliquez sur Select evaluations, puis sélectionnez jusqu’à quatre benchmarks à exécuter.
  6. Si vous sélectionnez des benchmarks qui utilisent des modèles OpenAI pour le scoring, le champ clé API du scorer s’affiche. Cliquez dessus, puis sélectionnez le secret OPENAI_API_KEY. Un administrateur de l’équipe peut créer un secret depuis ce volet latéral en cliquant sur Create secret.
  7. Si vous sélectionnez des benchmarks qui nécessitent l’accès à des jeux de données à accès restreint dans Hugging Face, un champ jeton Hugging Face s’affiche. Demandez l’accès au jeu de données concerné, puis sélectionnez le secret qui contient le jeton d’accès utilisateur Hugging Face.
  8. Facultatif : définissez Sample limit sur un entier positif afin de limiter le nombre maximum d’échantillons de benchmark à évaluer. Sinon, tous les échantillons de la tâche sont inclus.
  9. Pour créer automatiquement un classement, cliquez sur Publish results to leaderboard. Le classement affiche toutes les évaluations côte à côte dans un panneau de workspace, et vous pouvez aussi le partager dans un rapport.
  10. Cliquez sur Launch pour lancer le job d’évaluation.
  11. Cliquez sur l’icône en forme de flèche circulaire en haut de la page pour ouvrir la fenêtre modale des runs récents. Les jobs d’évaluation apparaissent avec vos autres runs récents. Cliquez sur le nom d’un run terminé pour l’ouvrir dans la vue run unique, ou cliquez sur le lien Leaderboard pour ouvrir directement le classement. Pour plus de détails, voir Afficher les résultats.
Cet exemple de job exécute le benchmark simpleqa sur le modèle OpenAI o4-mini :
Exemple de job d’évaluation de modèle hébergé
Si vous avez publié les résultats dans un classement, vous pouvez comparer les évaluations côte à côte. Cet exemple de classement visualise les performances de plusieurs modèles OpenAI :
Exemple de classement visualisant les performances de plusieurs modèles hébergés

​
Consulter les résultats de l’évaluation

Consultez les résultats de votre job d’évaluation dans W&B Models, dans le Workspace du projet de destination.
  1. Cliquez sur l’icône en forme de flèche circulaire en haut de la page pour ouvrir la fenêtre modale des runs récents, où les jobs d’évaluation apparaissent avec les autres Runs du projet. Si le job d’évaluation comporte un leaderboard, cliquez sur Leaderboard pour l’ouvrir en plein écran, ou cliquez sur un nom de run pour l’ouvrir dans le projet en vue d’exécution unique.
  2. Consultez les traces du job d’évaluation dans la section Évaluations d’un Workspace ou dans l’onglet Traces du panneau latéral Weave.
  3. Cliquez sur l’onglet Aperçu pour afficher des informations détaillées sur le job d’évaluation, notamment sa configuration et ses métriques récapitulatives.
  4. Cliquez sur l’onglet Logs pour afficher, rechercher ou télécharger les journaux de débogage du job d’évaluation.
  5. Cliquez sur l’onglet Files pour parcourir, afficher ou télécharger les fichiers du job d’évaluation, y compris le code, les journaux, la configuration et d’autres fichiers de sortie.

​
Personnaliser un leaderboard

Le leaderboard affiche les résultats de tous les jobs d’évaluation envoyés à un projet donné, avec une ligne par benchmark et par job d’évaluation. Les colonnes affichent des détails tels que la trace, les valeurs d’entrée et les valeurs de sortie du job d’évaluation. Pour en savoir plus sur les leaderboards, voir Leaderboards dans Weave.
Pour donner votre avis sur un résultat depuis le leaderboard, cliquez sur l’icône emoji ou sur l’icône de discussion dans la colonne Feedback.
  • Par défaut, tous les jobs d’évaluation sont affichés. Filtrez ou recherchez un job d’évaluation à l’aide du sélecteur de run à gauche.
  • Par défaut, les jobs d’évaluation ne sont pas regroupés. Pour regrouper par une ou plusieurs colonnes, cliquez sur l’icône Group. Vous pouvez afficher ou masquer un groupe, ou développer un groupe pour voir ses Runs.
  • Par défaut, toutes les opérations sont affichées. Pour n’afficher qu’une seule opération, cliquez sur All ops et sélectionnez une opération.
  • Pour trier par une colonne, cliquez sur l’en-tête de la colonne. Pour personnaliser l’affichage des colonnes, cliquez sur Colonne.
    • Par défaut, les en-têtes sont organisés sur un seul niveau. Vous pouvez augmenter la profondeur des en-têtes pour regrouper les en-têtes associés.
    • Sélectionnez ou désélectionnez des colonnes individuelles pour les afficher ou les masquer, ou affichez ou masquez toutes les colonnes en un clic.
    • Épinglez des colonnes pour les afficher avant les colonnes non épinglées.

​
Exporter un leaderboard

Pour exporter un leaderboard :
  1. Cliquez sur l’icône de téléchargement, située à côté du bouton Colonnes.
  2. Pour réduire la taille de l’export, W&B exporte uniquement les racines de trace par défaut. Pour exporter des traces complètes, désactivez Racines de trace uniquement.
  3. Pour réduire la taille de l’export, W&B n’exporte pas le feedback ni les coûts par défaut. Pour les inclure dans l’export, activez Feedback ou Coûts.
  4. Par défaut, l’export est au format JSONL. Pour personnaliser le format, cliquez sur Exporter vers un fichier et sélectionnez un format.
  5. Pour exporter le leaderboard depuis votre navigateur, cliquez sur Exporter.
  6. Pour exporter le leaderboard par code, sélectionnez Python ou cURL, puis cliquez sur Copier et exécutez le script ou la commande.

​
Relancer un job d’évaluation

Une fois un job d’évaluation terminé, vous souhaiterez peut-être le relancer avec les mêmes paramètres ou des paramètres modifiés, ou réutiliser sa configuration comme point de départ pour un nouveau job. Selon votre situation, il existe plusieurs façons de relancer un job d’évaluation ou d’en afficher la configuration.
  • Pour relancer le dernier job d’évaluation, suivez les étapes de Évaluer votre modèle. Sélectionnez le projet de destination ; les détails de l’artifact de modèle et les benchmarks sélectionnés la dernière fois sont alors renseignés automatiquement. Au besoin, apportez des ajustements, puis lancez le job d’évaluation.
  • Pour relancer un job d’évaluation depuis l’onglet Runs du projet ou le sélecteur de run, survolez le nom du run et cliquez sur l’icône lecture. Le volet de configuration du job s’affiche avec les paramètres préremplis. Au besoin, ajustez les paramètres, puis cliquez sur Launch.
  • Pour relancer un job d’évaluation depuis un autre projet, importez sa configuration :
    1. Suivez les étapes de Évaluer votre modèle. Après avoir sélectionné le projet de destination, cliquez sur Importer la configuration.
    2. Sélectionnez le projet qui contient le job d’évaluation à importer, puis sélectionnez le run correspondant. Le volet de configuration du job s’affiche avec les paramètres préremplis.
    3. Au besoin, ajustez la configuration.
    4. Cliquez sur Launch.

​
Exporter la configuration d’un job d’évaluation

Pour enregistrer une copie locale du config.yaml d’un job d’évaluation afin de la réutiliser ou de vous y référer, exportez la configuration depuis l’onglet Files du run :
  1. Ouvrez le run dans la vue de run unique.
  2. Dans le run, sélectionnez Files.
  3. À côté de config.yaml, sélectionnez le bouton de téléchargement.