> ## Documentation Index
> Fetch the complete documentation index at: https://docs.wandb.ai/llms.txt
> Use this file to discover all available pages before exploring further.
> Évaluer un point de contrôle du modèle compatible avec VLLM à l’aide de l’infrastructure gérée par CoreWeave
# Évaluer un point de contrôle du modèle
Les jobs d’Évaluation LLM sont en **Aperçu** sur [W\&B Multi-tenant Cloud](/fr/platform/hosting/hosting-options/multi_tenant_cloud). Les ressources de calcul sont gratuites pendant la période d’aperçu. Voir [la tarification des jobs d’Évaluation LLM](/fr/models/launch#pricing) pour plus de détails.
Cette page explique comment utiliser les [LLM Evaluation Jobs](/fr/models/launch) pour exécuter une série de benchmarks d’évaluation sur un modèle affiné dans W\&B Models, à l’aide d’une infrastructure gérée par CoreWeave. Pour évaluer un modèle d’API hébergé accessible via une URL publique, consultez plutôt [Évaluer un modèle d’API hébergé](/fr/models/launch/evaluate-hosted-model), ou exécutez un petit benchmark sur un endpoint de modèle OpenAI public avec un [Démarrage rapide](/fr/models/launch#quickstart) simplifié.
## Prérequis
Avant d’évaluer un point de contrôle du modèle, effectuez les opérations suivantes :
1. Consultez les [exigences et limitations](/fr/models/launch#more-details) relatives aux jobs d’évaluation de LLM.
2. Pour exécuter certains benchmarks, un administrateur d’équipe doit ajouter les clés API requises en tant que [secrets au niveau de l’équipe](/fr/platform/secrets#add-a-secret). Tout membre de l’équipe peut ensuite spécifier le secret lors de la configuration d’un job d’évaluation. Voir le [catalogue des modèles d’évaluation](/fr/models/launch/evaluations) pour connaître les exigences.
* Une **clé API OpenAPI** : utilisée par les benchmarks qui s’appuient sur des modèles OpenAI pour le scoring. Requise si le champ **Scorer API key** apparaît après la sélection d’un benchmark. Le secret doit être nommé `OPENAI_API_KEY`.
* Un **jeton d’accès utilisateur Hugging Face** : requis pour certains benchmarks, comme `lingoly` et `lingoly2`, qui nécessitent l’accès à un ou plusieurs Datasets Hugging Face à accès restreint. Requis si le champ **Hugging Face token** apparaît après la sélection d’un benchmark. La clé API doit donner accès au jeu de données concerné. Consultez la documentation Hugging Face sur les [jetons d’accès utilisateur](https://huggingface.co/docs/hub/en/security-tokens) et [l’accès aux jeux de données à accès restreint](https://huggingface.co/docs/hub/en/datasets-gated#access-gated-datasets-as-a-user).
3. Créez un nouveau [projet W\&B](/fr/models/track/project-page) pour les résultats de l’évaluation. Dans la barre latérale du projet, cliquez sur **Créer un projet**.
4. Préparez le modèle dans un format compatible avec vLLM et enregistrez-le comme artefact dans W\&B Models. Toute tentative d’exécuter un benchmark sur un autre type d’artefact échoue. Pour une méthode possible, voir la section suivante [Exemple : préparer un modèle](#example-prepare-a-model).
5. Consultez la documentation du benchmark concerné pour comprendre son fonctionnement et connaître ses exigences spécifiques. Pour vous faciliter la tâche, la référence [Benchmarks d’évaluation disponibles](/fr/models/launch/evaluations) inclut les liens pertinents.
## Évaluez votre modèle
Après avoir rempli les prérequis, suivez ces étapes pour configurer et lancer un job d'évaluation :
1. Connectez-vous à W\&B, puis cliquez sur **Launch** dans la barre latérale du projet. La page **LLM Evaluation Jobs** s'affiche.
2. Cliquez sur **Evaluate model checkpoint** pour configurer le job d'évaluation.
3. Sélectionnez un projet de destination où enregistrer les résultats de l'évaluation.
4. Dans la section **Model artifact**, indiquez le projet, l'artefact et la version du modèle préparé à évaluer.
5. Cliquez sur **Evaluations**, puis sélectionnez jusqu'à quatre benchmarks.
6. Si vous sélectionnez des benchmarks qui utilisent des modèles OpenAI pour le scoring, le champ **Scorer API key** s'affiche. Cliquez dessus, puis sélectionnez le secret `OPENAI_API_KEY`. Pour plus de commodité, un administrateur d'équipe peut créer un secret depuis ce panneau en cliquant sur **Create secret**.
7. Si vous sélectionnez des benchmarks qui nécessitent l'accès à des jeux de données à accès restreint dans Hugging Face, un champ **Hugging Face token** s'affiche. [Demandez l'accès au jeu de données concerné](https://huggingface.co/docs/hub/en/datasets-gated#access-gated-datasets-as-a-user), puis sélectionnez le secret qui contient le jeton d'accès utilisateur Hugging Face.
8. Facultatif : définissez **Sample limit** sur un entier positif pour limiter le nombre maximal d'échantillons de benchmark à évaluer. Sinon, le job inclut tous les échantillons de la tâche.
9. Pour créer automatiquement un classement, cliquez sur **Publish results to leaderboard**. Le classement affichera toutes les évaluations dans un panneau Workspace, et vous pourrez aussi le partager dans un rapport.
10. Cliquez sur **Launch** pour lancer le job d'évaluation.
11. Cliquez sur l'icône en forme de flèche circulaire en haut de la page pour ouvrir la fenêtre modale des runs récents. Les jobs d'évaluation apparaissent avec vos autres runs récents. Cliquez sur le nom d'un run terminé pour l'ouvrir dans la vue d'un seul run, ou cliquez sur le lien **Leaderboard** pour ouvrir directement le classement. Pour en savoir plus, voir [Afficher les résultats](#view-the-results).
Après avoir évalué votre premier modèle, de nombreux champs sont préremplis avec les valeurs les plus récentes lorsque vous configurez votre prochain job d'évaluation.
Cet exemple de job d'évaluation exécute deux benchmarks sur un artefact :
Cet exemple de classement visualise les performances de plusieurs modèles :
## Consulter les résultats de l'évaluation
Consultez les résultats de votre job d'évaluation dans W\&B Models, dans le Workspace du projet de destination.
1. Cliquez sur l'icône en forme de flèche circulaire en haut de la page pour ouvrir la fenêtre modale des runs récents, où les jobs d'évaluation apparaissent avec les autres Runs du projet. Si le job d'évaluation comporte un leaderboard, cliquez sur **Leaderboard** pour l'ouvrir en plein écran, ou cliquez sur un nom de run pour l'ouvrir dans le projet en vue d'exécution unique.
2. Consultez les traces du job d'évaluation dans la section **Évaluations** d'un Workspace ou dans l'onglet **Traces** du panneau latéral **Weave**.
3. Cliquez sur l'onglet **Aperçu** pour afficher des informations détaillées sur le job d'évaluation, notamment sa configuration et ses métriques récapitulatives.
4. Cliquez sur l'onglet **Logs** pour afficher, rechercher ou télécharger les journaux de débogage du job d'évaluation.
5. Cliquez sur l'onglet **Files** pour parcourir, afficher ou télécharger les fichiers du job d'évaluation, y compris le code, les journaux, la configuration et d'autres fichiers de sortie.
## Personnaliser un leaderboard
Le leaderboard affiche les résultats de tous les jobs d'évaluation envoyés à un projet donné, avec une ligne par benchmark et par job d'évaluation. Les colonnes affichent des détails tels que la trace, les valeurs d'entrée et les valeurs de sortie du job d'évaluation. Pour en savoir plus sur les leaderboards, voir [Leaderboards dans Weave](/fr/weave/guides/core-types/leaderboards).
Pour donner votre avis sur un résultat depuis le leaderboard, cliquez sur l'icône emoji ou sur l'icône de discussion dans la colonne **Feedback**.
* Par défaut, tous les jobs d'évaluation sont affichés. Filtrez ou recherchez un job d'évaluation à l'aide du sélecteur de run à gauche.
* Par défaut, les jobs d'évaluation ne sont pas regroupés. Pour regrouper par une ou plusieurs colonnes, cliquez sur l'icône **Group**. Vous pouvez afficher ou masquer un groupe, ou développer un groupe pour voir ses Runs.
* Par défaut, toutes les opérations sont affichées. Pour n'afficher qu'une seule opération, cliquez sur **All ops** et sélectionnez une opération.
* Pour trier par une colonne, cliquez sur l'en-tête de la colonne. Pour personnaliser l'affichage des colonnes, cliquez sur **Colonne**.
* Par défaut, les en-têtes sont organisés sur un seul niveau. Vous pouvez augmenter la profondeur des en-têtes pour regrouper les en-têtes associés.
* Sélectionnez ou désélectionnez des colonnes individuelles pour les afficher ou les masquer, ou affichez ou masquez toutes les colonnes en un clic.
* Épinglez des colonnes pour les afficher avant les colonnes non épinglées.
## Exporter un leaderboard
Pour exporter un leaderboard :
1. Cliquez sur l’icône de téléchargement, située à côté du bouton **Colonnes**.
2. Pour réduire la taille de l’export, W\&B exporte uniquement les racines de trace par défaut. Pour exporter des traces complètes, désactivez **Racines de trace uniquement**.
3. Pour réduire la taille de l’export, W\&B n’exporte pas le feedback ni les coûts par défaut. Pour les inclure dans l’export, activez **Feedback** ou **Coûts**.
4. Par défaut, l’export est au format JSONL. Pour personnaliser le format, cliquez sur **Exporter vers un fichier** et sélectionnez un format.
5. Pour exporter le leaderboard depuis votre navigateur, cliquez sur **Exporter**.
6. Pour exporter le leaderboard par code, sélectionnez **Python** ou **cURL**, puis cliquez sur **Copier** et exécutez le script ou la commande.
## Relancer un job d’évaluation
Une fois un job d’évaluation terminé, vous souhaiterez peut-être le relancer avec les mêmes paramètres ou des paramètres modifiés, ou réutiliser sa configuration comme point de départ pour un nouveau job. Selon votre situation, il existe plusieurs façons de relancer un job d’évaluation ou d’en afficher la configuration.
* Pour relancer le dernier job d’évaluation, suivez les étapes de [Évaluer votre modèle](#evaluate-your-model). Sélectionnez le projet de destination ; les détails de l’artifact de modèle et les benchmarks sélectionnés la dernière fois sont alors renseignés automatiquement. Au besoin, apportez des ajustements, puis lancez le job d’évaluation.
* Pour relancer un job d’évaluation depuis l’onglet **Runs** du projet ou le sélecteur de run, survolez le nom du run et cliquez sur l’icône **lecture**. Le volet de configuration du job s’affiche avec les paramètres préremplis. Au besoin, ajustez les paramètres, puis cliquez sur **Launch**.
* Pour relancer un job d’évaluation depuis un autre projet, importez sa configuration :
1. Suivez les étapes de [Évaluer votre modèle](#evaluate-your-model). Après avoir sélectionné le projet de destination, cliquez sur **Importer la configuration**.
2. Sélectionnez le projet qui contient le job d’évaluation à importer, puis sélectionnez le run correspondant. Le volet de configuration du job s’affiche avec les paramètres préremplis.
3. Au besoin, ajustez la configuration.
4. Cliquez sur **Launch**.
## Exporter la configuration d’un job d’évaluation
Pour enregistrer une copie locale du `config.yaml` d’un job d’évaluation afin de la réutiliser ou de vous y référer, exportez la configuration depuis l’onglet **Files** du run :
1. Ouvrez le run dans la vue de run unique.
2. Dans le run, sélectionnez **Files**.
3. À côté de `config.yaml`, sélectionnez le bouton de téléchargement.
## Exemple : Préparer un modèle
Avant de pouvoir évaluer un point de contrôle du modèle, vous devez le convertir dans un format compatible avec VLLM et l’enregistrer comme artefact dans W\&B Models. Cet exemple montre une façon de procéder :
```python lines theme={null}
import os
from transformers import AutoTokenizer, AutoModelForCausalLM
# Charger votre modèle
model_name = "your-model-name"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)
# Enregistrer au format compatible vLLM
save_dir = "path/to/save"
tokenizer.save_pretrained(save_dir)
model.save_pretrained(save_dir)
# Enregistrer dans W&B Models
import wandb
wandb_run = wandb.init(entity="your-entity-name", project="your-project-name")
artifact = wandb.Artifact(name="your-artifact-name")
artifact.add_dir(save_dir)
logged_artifact = wandb_run.log_artifact(artifact)
logged_artifact.wait()
wandb.finish()
```