EvaluationLogger

EvaluationLogger permet la journalisation incrémentielle des prédictions et des scores. Contrairement à la classe Evaluation traditionnelle, qui nécessite un jeu de données défini à l’avance et un traitement par lots, EvaluationLogger vous permet de journaliser les prédictions au fur et à mesure, avec une attribution flexible des scores.

Exemple

const ev = new EvaluationLogger({name: 'my-eval', dataset: 'my-dataset'});

for (const example of streamingData) {
  const output = await myModel.predict(example);
  const pred = ev.logPrediction(example, output);

  if (shouldScore(output)) {
    pred.logScore("accuracy", calculateAccuracy(output));
  }
  pred.finish();
}

await ev.logSummary();

Constructeur

new EvaluationLogger(options) : EvaluationLogger

Paramètres

object

requis

Masquer propriétés

Record<string, any>

string | Dataset<DatasetRow>

Voir Dataset.

string

WeaveObject | { name?: string; }

Voir WeaveObject.

string

requis

string[]

Renvoie

EvaluationLogger

Méthodes

logPrediction()

logPrediction(inputs, output): ScoreLogger

Journalise une prédiction avec son entrée et sa sortie (version synchrone). Crée un appel predict_and_score (avec un appel enfant predict). Renvoie immédiatement un ScoreLogger pour ajouter des scores. Cette méthode renvoie le ScoreLogger de façon synchrone. Les opérations sur le ScoreLogger (logScore, finish) seront placées dans la file d’attente et exécutées une fois l’initialisation terminée.

Paramètres

Record<string, any>

requis

any

requis

Renvoie

ScoreLogger

Exemple

// Style « fire-and-forget »
const scoreLogger = evalLogger.logPrediction({input: 'test'}, 'output');
scoreLogger.logScore('accuracy', 0.95);
scoreLogger.finish();
await evalLogger.logSummary(); // Attend la fin de toutes les opérations

logPredictionAsync()

logPredictionAsync(inputs, output): Promise<ScoreLogger>

Journalise une prédiction avec son entrée et sa sortie (version asynchrone). Comme logPrediction(), mais renvoie une Promise qui se résout lorsque l’appel de prédiction est entièrement initialisé. Utilisez cette méthode si vous devez attendre l’initialisation avant de continuer.

Paramètres

Record<string, any>

requis

any

requis

Renvoie

Promise<ScoreLogger>

Exemple

// Style avec await
const scoreLogger = await evalLogger.logPredictionAsync({input: 'test'}, 'output');
await scoreLogger.logScore('accuracy', 0.95);
await scoreLogger.finish();

logSummary()

logSummary(summary?): Promise<void>

Journalise une synthèse et finalise l’évaluation. Crée un appel summarize et termine l’appel evaluate. Cette méthode peut être appelée sans await (fire-and-forget), mais en interne elle attendra que toutes les opérations en attente soient terminées.

Paramètres

Record<string, any>

Renvoie

Promise<void>

W&B Models

W&B Weave

Serverless Inference

Serverless Training

Exemple

Constructeur

Paramètres

Renvoie

Méthodes

logPrediction()

Paramètres

Renvoie

Exemple

logPredictionAsync()

Paramètres

Renvoie

Exemple

logSummary()

Paramètres

Renvoie

​Exemple

​Constructeur

​Paramètres

​Renvoie

​Méthodes

​logPrediction()

​Paramètres

​Renvoie

​Exemple

​logPredictionAsync()

​Paramètres

​Renvoie

​Exemple

​logSummary()

​Paramètres

​Renvoie

Exemple

Constructeur

Paramètres

Renvoie

Méthodes

logPrediction()

Paramètres

Renvoie

Exemple

logPredictionAsync()

Paramètres

Renvoie

Exemple

logSummary()

Paramètres

Renvoie