Utilisez les projets Weave pour organiser les ressources associées, comme les traces, les prompts, les évaluations, les modèles et les tableaux de bord.
Les projets Weave organisent les ressources associées, notamment les traces, les évaluations, les modèles, les Datasets et d’autres ressources Weave. Ils aident votre équipe à rester organisée, facilitent la collaboration et le partage, et vous permettent de suivre l’évolution de vos applications LLM au fil du temps.Cette page explique quelles ressources contient un projet Weave, comment fonctionnent les chemins de projet et comment créer, consulter et supprimer des projets à l’aide de l’interface W&B ou du SDK Weave.
Appels LLM individuels, exécutions de fonctions et flux de l’application qui capturent les entrées, les sorties, la latence et l’utilisation des tokens à des fins de débogage et d’analyse. Voir Traces.
Évaluations
Résultats de test qui comparent la performance du modèle sur des Datasets à l’aide de fonctions de scoring afin de mesurer la qualité, la précision et d’autres métriques. Voir Evaluations.
Monitors
Processus d’arrière-plan qui attribuent automatiquement un score à un sous-ensemble d’appels de fonctions à l’aide d’évaluateurs LLM-as-a-judge pour suivre les métriques de qualité dans le temps en production. Voir Monitors.
Leaderboards
Comparaisons classées des performances du modèle entre différentes exécutions d’évaluation qui vous aident à identifier les configurations les plus performantes. Voir Leaderboards.
Threads
Conversations multi-tours et flux de travail basés sur des sessions qui regroupent les appels associés sous un ID de thread partagé afin d’analyser l’ensemble des interactions utilisateur. Voir Threads.
Assets
L’onglet Assets stocke et organise les objets versionnés dans votre projet :
Models: Définitions de modèles versionnées qui capturent les prompts, les paramètres et la configuration, et suivent automatiquement les modifications pour garantir la reproductibilité et faciliter la comparaison. Voir Models.
Datasets: Collections d’exemples de test stockées sous forme d’objets Weave, que vous pouvez télécharger, parcourir et utiliser pour exécuter des évaluations. Voir Datasets.
Prompts: Prompts système versionnés que vous pouvez tester et réutiliser dans vos configurations de modèle. Voir Prompts.
Scorers: Fonctions qui évaluent les entrées et les sorties du modèle pour mesurer la qualité, la sécurité ou des métriques personnalisées. Voir Scorers.
Ops: Fonctions automatiquement versionnées et suivies, décorées avec @weave.op(), qui produisent des appels et conservent un historique des modifications de la fonction. Voir Ops.
Other objects and metadata: Objets Weave supplémentaires, types personnalisés et métadonnées associées stockés dans le projet.
Teams (également appelées Entities) possèdent et gèrent des projets dans votre organisation W&B. Le nom de votre équipe et le nom de votre projet forment le chemin d’accès à votre projet dans l’interface W&B. Vous utilisez également ce chemin dans votre code pour associer vos ressources Weave au projet.Par exemple, si le nom de votre équipe est my-team et le nom de votre projet est my-project, le chemin vers votre projet est :
my-team/my-project
Utilisez ce chemin lorsque vous initialisez Weave dans votre code pour associer les données de votre application au projet :
Sélectionnez New project. La boîte de dialogue Create a new project s’ouvre.
Dans la boîte de dialogue modale, configurez les champs suivants :
Team : l’équipe existante à associer au projet.
Name : un nom pour votre projet.
Project visibility : les personnes autorisées à voir et modifier le projet.
Description : (Facultatif) une brève description du projet pour vous aider à en suivre et organiser l’objectif.
Après avoir configuré les champs requis, sélectionnez Create project. W&B crée le projet et ouvre son Workspace.
Pour retrouver votre projet nouvellement créé, sélectionnez le logo Weights & Biases dans le coin supérieur gauche pour ouvrir le menu de navigation globale. Le menu répertorie vos projets les plus récents et les Teams dont vous faites partie, afin que vous puissiez changer de contexte. Sélectionnez votre projet pour ouvrir le Workspace du projet.Vous pouvez également ouvrir votre Profile depuis le menu sous votre nom, dans le coin supérieur droit. L’onglet Projects répertorie tous vos projets.Lorsque vous ouvrez le Workspace du nouveau projet, l’interface W&B propose des démarrages rapides pour W&B Models et W&B Weave. La barre d’outils du projet contient également des outils pour chaque produit. Une fois que vous associez des données Weave à votre projet via votre code, la barre latiale n’affiche plus que les outils Weave et le tableau de bord Weave devient disponible.
Pour créer un projet Weave directement depuis votre code, fournissez un nouveau chemin de projet comme argument à weave.init() :
import weaveweave.init('my-team/my-llm-app')
Lorsque vous exécutez ce code, Weave crée le nouveau projet dans votre compte W&B et téléverse vers le projet toutes les données pertinentes du run. Weave configure également le projet comme un projet Weave (et non comme un projet W&B Models), et la barre latérale de l’interface n’affiche que les outils Weave.
Sélectionnez le logo Weights & Biases dans le coin supérieur gauche pour ouvrir le menu de navigation globale, puis sélectionnez votre projet dans la barre latérale Projects. Cela ouvre la page d’aperçu du projet, ou la page Traces si vous avez déjà enregistré des traces dans le projet.
Depuis la page d’aperçu, vous pouvez :
Consulter les statistiques de votre projet, comme le nombre de traces enregistrées dans le projet et l’espace de stockage qu’il utilise.
Accéder aux traces, aux évaluations et à d’autres ressources à l’aide de la barre latérale.
Accéder aux traces, évaluations, modèles et Datasets récemment enregistrés.
La suppression d’un projet est définitive et supprime toutes les traces, évaluations, modèles, Datasets et autres ressources associées de votre compte W&B.
Sélectionnez votre projet dans la barre latérale Projects. Cela ouvre la page d’aperçu du projet, ou la page Traces si vous avez déjà enregistré des traces pour ce projet.
Sélectionnez le bouton Project () dans la barre latérale pour ouvrir la page d’aperçu du projet si elle n’est pas déjà ouverte.
Sélectionnez le menu action () et choisissez Delete Project dans la liste. Cela ouvre la boîte de dialogue modale Delete project.
Dans la fenêtre modale, saisissez le nom du projet dans le champ de confirmation, puis sélectionnez Delete. W&B supprime définitivement le projet de votre compte.
