Passer au contenu principal
Découvrez comment utiliser le service Serverless Inference dans l’interface utilisateur web. Ce guide explique comment accéder au service, essayer des modèles dans le Playground, les comparer côte à côte et suivre la facturation et l’utilisation. Utilisez l’interface utilisateur si vous souhaitez tester des modèles de manière interactive sans écrire de code. Avant d’utiliser l’interface utilisateur, suivez les prérequis.

​
Accéder au service d’Inférence

Les sections suivantes décrivent trois façons d’accéder au service d’Inférence. Choisissez le point d’entrée le mieux adapté à votre flux de travail actuel. Accédez à https://wandb.ai/inference.

​
Depuis l’onglet Inférence

  1. Accédez à votre compte W&B sur https://wandb.ai/.
  2. Sélectionnez Inférence dans la barre latérale du projet. Une page s’affiche avec les modèles disponibles et leurs informations.
Utilisation d’un modèle d’inférence dans le playground

​
Depuis l’onglet Playground

  1. Sélectionnez Playground dans la barre latérale du projet. L’interface de chat du Playground s’affiche.
  2. Survolez Serverless Inference dans la liste déroulante des LLM. Un menu déroulant affichant les modèles disponibles apparaît à droite.
  3. Dans la liste déroulante des modèles, vous pouvez :
La liste déroulante des modèles d’Inférence dans Playground

​
Tester un modèle dans le Playground

Après avoir sélectionné un modèle, vous pouvez le tester dans le playground afin d’évaluer ses réponses et d’ajuster son comportement avant de l’intégrer ailleurs. Les actions disponibles sont les suivantes :

​
Comparer plusieurs modèles

Vous pouvez comparer des modèles d’Inférence côte à côte dans le Playground pour évaluer la qualité, la latence et le style de sortie pour un même prompt. Accédez à la vue Compare à partir de deux endroits, décrits dans les sections suivantes.

​
Depuis l’onglet Inférence

  1. Sélectionnez Inférence dans la barre latérale du projet. La page des modèles disponibles s’affiche.
  2. Cliquez n’importe où sur une carte de modèle (sauf sur le nom du modèle) pour la sélectionner. La carte est mise en surbrillance pour indiquer qu’elle est sélectionnée.
  3. Répétez l’opération pour chaque modèle que vous souhaitez comparer.
  4. Cliquez sur Comparer [N] modèles dans le Playground sur n’importe quelle carte sélectionnée, où [N] correspond au nombre de modèles que vous avez sélectionnés. La vue de comparaison s’ouvre.
Vous pouvez maintenant comparer les modèles et utiliser toutes les fonctionnalités de Tester un modèle dans le Playground.
Sélection de plusieurs modèles à comparer dans le Playground

​
Depuis l’onglet Playground

  1. Sélectionnez Playground dans la barre latérale du projet. L’interface de chat du Playground s’affiche.
  2. Survolez Serverless Inference dans la liste déroulante des LLM. La liste déroulante des modèles s’affiche à droite.
  3. Sélectionnez Compare dans la liste déroulante. L’onglet Inférence s’affiche.
  4. Cliquez n’importe où sur une carte de modèle (sauf sur le nom du modèle) pour la sélectionner. La carte est mise en surbrillance pour indiquer qu’elle est sélectionnée.
  5. Répétez l’opération pour chaque modèle que vous souhaitez comparer.
  6. Cliquez sur Comparer [N] modèles dans le Playground sur n’importe quelle carte sélectionnée. La vue de comparaison s’ouvre.
Vous pouvez maintenant comparer des modèles et utiliser toutes les fonctionnalités de Tester un modèle dans le Playground.

​
Voir les informations de facturation et d’utilisation

Les administrateurs de l’organisation peuvent suivre le solde de crédits, l’historique d’utilisation et les prochaines factures dans l’interface W&B. Utilisez cette vue pour surveiller les dépenses et prévoir les prochains frais.
  1. Accédez à la page Billing de W&B dans l’interface.
  2. Repérez la carte d’informations de facturation Inférence.
  3. Vous pouvez ensuite :
    • Cliquer sur View usage pour voir l’évolution de votre utilisation au fil du temps.
    • Consulter les prochains frais d’inférence (pour les plans payants).
Consultez la page de tarification de l’inférence pour connaître le détail des tarifs par modèle.

​
Étapes suivantes