Consulter les tableaux d’évaluation - Weights & Biases Documentation

Lorsque vous créez un tableau d’évaluation, indiquez quelles colonnes contiennent les entrées, les sorties et les scores. W&B regroupe ces colonnes dans les sections correspondantes du tableau d’évaluation. L’exemple suivant montre la structure de base d’un objet EvalTable :

import wandb

wandb.EvalTable(
    input_columns=["column1", "column2"],
    output_columns=["output_column1", "output_column2"],
    score_columns=["score_column1", "score_column2"],
)

Passez un ou plusieurs noms de colonne à chacun des arguments suivants :

input_columns : données fournies au modèle, comme une image, un prompt ou une étiquette de référence.
output_columns : valeurs produites par le modèle, comme une prédiction ou une réponse générée.
score_columns : métriques ou autres valeurs utilisées pour évaluer la sortie.

W&B affiche ces colonnes dans les sections Inputs, Outputs et Scores du tableau d’évaluation.

Les exemples de cette page utilisent du code tiré de Create an Eval Table. Développez View code pour afficher ou copier l’exemple complet.

View code

import pandas as pd
import wandb

df = pd.DataFrame(
    [
        {
            "image_id": "img_001",
            "true_label": "cat",
            "predicted_label": "cat",
            "confidence": 0.97,
            "correct": True,
        },
        {
            "image_id": "img_002",
            "true_label": "dog",
            "predicted_label": "cat",
            "confidence": 0.72,
            "correct": False,
        },
        {
            "image_id": "img_003",
            "true_label": "car",
            "predicted_label": "car",
            "confidence": 0.89,
            "correct": True,
        },
    ]
)

df["correct"] = df["correct"].astype(object)  # conserve les booléens Python natifs

with wandb.init(project="classifier-eval-table-demo") as run:
    eval_table = wandb.EvalTable(
        dataframe=df,
        input_columns=["image_id", "true_label"],
        output_columns=["predicted_label"],
        score_columns=["correct", "confidence"],
    )
    run.log({"validation_predictions_eval": eval_table})

Par exemple, prenez l’exemple de code de Create an Eval Table :

import wandb

with wandb.init(project="classifier-eval-table-demo") as run:
    eval_table = wandb.EvalTable(
        dataframe=df,
        input_columns=["image_id", "true_label"],
        output_columns=["predicted_label"],
        score_columns=["correct", "confidence"],
    )
    run.log({"validation_predictions_eval": eval_table})

Dans cet exemple :

La section Inputs contient les colonnes image_id et true_label.
La section Outputs contient la colonne predicted_label.
La section Scores contient les colonnes correct et confidence.

L’image suivante met en évidence ces sections :

Vue détaillée

Sélectionnez une ligne pour ouvrir la vue détaillée de cet exemple. La vue détaillée affiche les entrées, les sorties et les scores de l’exemple. L’image suivante montre la vue détaillée de la première ligne du tableau d’évaluation :

Détails de l’exemple dans le tableau d’évaluation

Utilisez la vue détaillée pour examiner les exemples lorsque le tableau comporte de nombreuses colonnes ou lorsque vous comparez les résultats de plusieurs runs. Sélectionnez la flèche vers le haut ou vers le bas au-dessus de la section Inputs pour passer d’un exemple à l’autre dans la vue actuelle du tableau.

Filtrer les données

Utilisez des filtres pour n’afficher que les lignes correspondant à des conditions spécifiques. Pour ajouter un filtre :

Sélectionnez le bouton Filtre au-dessus du tableau.
Dans le menu déroulant, sélectionnez la colonne à filtrer.
Sélectionnez un opérateur.
Spécifiez une valeur.

W&B applique automatiquement le filtre au tableau et n’affiche que les lignes correspondant à la condition.

Vous pouvez appliquer plusieurs filtres. Pour supprimer un filtre, sélectionnez le X situé à côté.

Afficher ou masquer des colonnes

Utilisez le menu Colonnes pour définir quelles colonnes s’affichent dans le tableau d’évaluation. Les colonnes disponibles dépendent des données enregistrées dans le tableau. Pour afficher ou masquer une colonne :

Sélectionnez Colonnes au-dessus du tableau.
Sélectionnez une colonne pour l’afficher, ou désélectionnez-la pour la masquer.

L’image suivante montre un menu Colonnes dans lequel toutes les colonnes disponibles sont sélectionnées :

​Vue détaillée

​Filtrer les données

​Afficher ou masquer des colonnes

Vue détaillée

Filtrer les données

Afficher ou masquer des colonnes