Weave project を使うと、トレース、評価、モデル、データセット、その他のWeaveアセットなど、関連するアセットを整理できます。project はチームの作業を整理し、コラボレーションと共有を効率化し、LLMアプリケーションの進化を継続的にトラッキングするのに役立ちます。
このページでは、Weave project に含まれるリソース、プロジェクトパス の仕組み、W&B UI または Weave SDK を使用して project を作成、表示、削除する方法について説明します。
project には、次のリソースが保存されます。
| リソース | 説明 |
|---|
| トレース | デバッグや分析のために、入力、出力、レイテンシ、トークン使用量を記録する、個々の LLM call、関数実行、アプリケーションフローです。Traces を参照してください。 |
| 評価 | 品質、精度、その他のメトリクスを測定するスコアリング関数を使用して、データセットに対するモデル性能を比較するテスト結果です。Evaluations を参照してください。 |
| モニター | 本番環境で、時間の経過に伴う品質メトリクスを追跡するために、LLM-as-a-judge scorer を使用して関数 call の一部を自動的にスコアリングするバックグラウンドプロセスです。Monitors を参照してください。 |
| リーダーボード | さまざまな評価 run におけるモデル性能を順位付きで比較したもので、最も高いパフォーマンスを発揮する設定を特定するのに役立ちます。Leaderboards を参照してください。 |
| スレッド | 完全なユーザーインタラクションを分析するために、関連する call を共有のスレッド ID の下にグループ化する、複数ターンの会話とセッションベースのワークフローです。Threads を参照してください。 |
| Assets | Assets タブには、project 内のバージョン管理されたオブジェクトが保存・整理されます: - Models: プロンプト、パラメーター、設定を記録するバージョン管理されたモデル定義で、再現性と比較のために変更を自動的にトラッキングします。Models を参照してください。
- データセット: ダウンロード、閲覧、評価の実行に使用できる、Weave オブジェクトとして保存されたテスト例のコレクションです。Datasets を参照してください。
- Prompts: モデル設定でテストして再利用できる、バージョン管理された system prompt です。Prompts を参照してください。
- Scorers: 品質、安全性、またはカスタムメトリクスを測定するために、モデルの入力と出力を評価する関数です。Scorers を参照してください。
- Ops:
@weave.op() でデコレートされ、自動的にバージョン管理およびトラッキングされる関数で、call を生成し、関数の変更履歴を保持します。Ops を参照してください。 - その他のオブジェクトとメタデータ: project 内に保存される、追加の Weave オブジェクト、カスタム型、および関連メタデータです。
|
my-team、project名が my-project の場合、projectのパスは次のとおりです。
アプリのデータをprojectに関連付けるには、コード内で Weave を初期化する際にこのパスを使用します：
weave.init('my-team/my-project')
W&B UI を使用して新しいprojectを作成するには、次の手順に従います。
- wandb.ai にアクセスします。
- New project を選択します。Create a new project モーダルダイアログが開きます。
- モーダルで、次のフィールドを設定します。
- Team: projectに関連付ける既存のチーム。
- Name: projectの名前。
- Project visibility: projectを表示および編集できるユーザーの範囲。
- Description: (任意) projectの目的を把握して整理しやすくするための簡単な説明。
- 必要なフィールドを設定したら、Create project を選択します。W&B がprojectを作成し、その Workspace を開きます。
新しく作成したprojectを見つけるには、左上の Weights & Biases ロゴ を選択して Global navigation メニューを開きます。このメニューには最近使用したprojectと所属しているチームが表示されるため、コンテキストを切り替えられます。projectを選択すると、そのprojectの Workspace が開きます。または、右上の名前の下にあるメニューから Profile を開きます。Projects タブには、すべてのprojectが一覧表示されます。新しいprojectの Workspace を開くと、UI には W&B Models と Weave の両方のクイックスタートが表示されます。projectのツールバーにも、各プロダクト用のツールが含まれています。コードを通じて Weave のデータをprojectに関連付けると、サイドバーには Weave のツールだけが表示され、Weave ダッシュボードを利用できるようになります。 コードから直接 Weave project を作成するには、weave.init() の引数として新しいプロジェクトパスを指定します。import weave
weave.init('my-team/my-llm-app')
- wandb.ai にアクセスします。
- 左上にあるWeights & Biases ロゴを選択してGlobal navigation menuを開き、Projects サイドバーからprojectを選択します。projectの概要ページが開きます。すでにそのprojectにトレースをログしている場合は、トレースページが開きます。
- 概要ページでは、次のことができます。
- projectにログされたトレース数や、projectで使用しているストレージ容量などの統計を確認する。
- サイドバーを使って、トレース、評価、その他のリソースにアクセスする。
- 最近ログされたトレース、評価、モデル、データセットにアクセスする。
projectの削除は元に戻せず、関連するすべてのトレース、評価、モデル、データセット、およびその他のリソースが W&B アカウントから削除されます。
- wandb.ai にアクセスします。
- Projects サイドバーで対象のprojectを選択します。projectの概要ページが開きます。すでにそのprojectにトレースをログしている場合は、トレース ページが開きます。
- 概要ページがまだ開いていない場合は、サイドバーの Project () ボタンを選択して開きます。
- action () メニューを選択し、一覧から Delete Project を選びます。Delete project モーダルダイアログが開きます。
- モーダルで確認フィールドにproject名を入力し、Delete を選択します。W&B はprojectをアカウントから完全に削除します。
