プロンプトのバージョンを保存してトラッキングする

• 過去の実験を再現する。
• プロンプトの変更を安全に繰り返し改善する。
• プロンプトの更新を制御された形でロールアウトする。

weave:///<your-team-name>/<your-project-name>/object/<object_name>:<object_version>

• your-team-name: W&B entity (ユーザー名またはチーム名)
• your-project-name: W&Bプロジェクト
• object_name: オブジェクト名
• object_version: バージョンハッシュ、v0 や v1 のようなバージョンインデックス、または :latest や :production のようなエイリアスのいずれかです。すべてのオブジェクトには :latest エイリアスがあります。

weave:///your-team-name/your-project-name/object/support_prompt:v3

• weave.ref(<name>): プロンプトの :latest バージョンを取得します。weave.init(...) の呼び出しが必要です。
• weave.ref(<name>:<alias_or_version>): エイリアス、バージョンハッシュ、またはバージョンインデックスでプロンプトを取得します。weave.init(...) の呼び出しが必要です。
• weave.ref(<fully_qualified_ref_uri>): 指定した完全修飾された ref URIにあるプロンプトを取得します。weave.init(...) を呼び出す必要はありません。

import weave

weave.init("your-team-name/your-project-name")

prompt = weave.ref("support_prompt:v3").get()

1. 新しいバージョンのプロンプトを開発してテストします。
2. データセットまたは評価スイートに対して新しいプロンプトを評価します。
3. client.set_aliases(new_ref, "production") を使用して、production エイリアス を新しいバージョンに移動します。

​

プロンプトのバージョンを表示して比較する

1. wandb.ai にアクセスし、project を選択します。
2. Weave の project のサイドバーで Assets をクリックします。Assets ページが開きます。
3. Assets ページで Prompts をクリックします。project 内のプロンプトが一覧表示された Prompts ページが開きます。
4. Versions 列で、表示したいプロンプトの (x) Versions をクリックします。プロンプトのバージョン一覧が開きます。

1. (任意) プロンプトのバージョンを比較するには、一覧に表示されたプロンプトの横にあるチェックボックスを選択し、表のツールバーにある Compare ボタンをクリックします。これにより、プロンプト間の差分を確認できます。

• エイリアス: 1 つのプロンプトのバージョンに対応する一意の名前です。エイリアスはいつでも別のバージョンを指すように変更できるため、production や staging のような固定参照に便利です。
• タグ: バージョンに付与する説明用のラベルです。1 つのバージョンに複数のタグを付けることができます。reviewed や passed-eval のように、タグを使用してバージョンを分類したりフィルターしたりできます。

1. Weave のプロジェクトのサイドバーで、Assets をクリックします。Assets ページが開きます。
2. Assets ページで、Prompts をクリックします。表では、割り当て済みの Aliases と Tags を確認できます。
3. Prompts の表で、変更するプロンプトのリンクをクリックします。
4. 選択したプロンプトの詳細パネルでは、タイトルバーにプロンプト名と特定のバージョンが表示されます。更新するプロンプトのバージョンを選択します。
5. パネルのツールバーで、コントロールを使用して、この特定のバージョンに割り当てられたエイリアスとタグを追加または削除します。

• タグとエイリアスを指定して、プロンプトをインラインで公開する。
• エイリアスを特定のバージョンに向け、解決してプロンプトを読み込む。
• バージョンにタグやエイリアスを追加、削除、一覧表示する。

import weave

// TODO: 'your-team-name/your-project-name' を正しい値に設定します。
client = weave.init('your-team-name/your-project-name')

# プロンプトの 2 つのバージョンを公開します。
v0_ref = weave.publish(
    weave.StringPrompt("Answer the user's question: {question}"),
    name="my-prompt",
)
v1_ref = weave.publish(
    weave.StringPrompt("Answer the user's question helpfully and concisely: {question}"),
    name="my-prompt",
)

# --- エイリアス: 特定のバージョンを指す名前付きポインタ。 ---

# バージョンにエイリアスを設定します。
client.set_aliases(v0_ref, "staging")
client.set_aliases(v1_ref, "production")

# バージョンのエイリアスを取得します。
client.get_aliases(v1_ref)  # ["production", "latest"]

# 別のバージョンに設定してエイリアスを移動します。
client.set_aliases(v0_ref, "production")  # v1 から自動的に切り離されます。

# エイリアスを解決してオブジェクトを読み込みます。
prompt = weave.ref("my-prompt:production").get()

# project 内のすべてのエイリアスを一覧表示します。
client.list_aliases()

# エイリアスを削除します。
client.remove_aliases(v0_ref, "production")

# --- タグ: 特定のバージョンに付与されるラベル。 ---

# バージョンにタグを追加します。
client.add_tags(v0_ref, ["reviewed", "passed-eval"])
client.add_tags(v1_ref, ["reviewed", "needs-improvement"])

# バージョンのタグを取得します。
client.get_tags(v0_ref)  # ["passed-eval", "reviewed"]

# project 内の重複しないタグをすべて一覧表示します。
client.list_tags()

# バージョンからタグを削除します。
client.remove_tags(v1_ref, ["needs-improvement"])

# --- 組み合わせ: 1 回の呼び出しで両方を取得します。 ---

tags, aliases = client.get_tags_and_aliases(v0_ref)

# --- タグとエイリアスを指定してインラインで公開します。 ---

ref = weave.publish(
    weave.StringPrompt("Be brief: {question}"),
    name="my-prompt",
    tags=["reviewed"],
    aliases=["production"],
)