Artifactsをダウンロードして使用する

W&B サーバーにすでに保存されているアーティファクトをダウンロードして使用するか、必要に応じて重複排除のためにアーティファクトオブジェクトを作成して渡します。

Models Viewer seat のチームメンバーは Artifacts をダウンロードできません。

W&B に保存されているアーティファクトをダウンロードして使用する

アーティファクトが run の依存関係である場合は、追跡対象の run 入力としてダウンロードします。リネージのトラッキングが不要なワークフローでは、直接取得します。

W&B が処理できるスキームを持つ参照は、アーティファクト内の file と同様にダウンロードされます。詳細は、外部fileをトラッキングするを参照してください。

アーティファクト内のすべての file をダウンロードすることも、個別の file をダウンロードすることもできます。

すべての file をダウンロードするには、Artifact.download() を使用します。
特定のエントリを取得するには、Artifact.get_entry() を使用し、その後 .download() を呼び出してダウンロードします。

run 入力をトラッキングする
直接取得
W&B CLI

W&B Run の一部としてアーティファクトをダウンロードするには、wandb.Run.use_artifact() を使用します。W&B はそのアーティファクトを run への入力として記録します。

W&B Python SDK をインポートし、W&B Run を初期化します。
wandb.Run.use_artifact() を使用してアーティファクトのバージョンを取得します。
返された Artifact オブジェクトから、すべての file または特定の file をダウンロードします。

import wandb    

with wandb.init(project="project-name", job_type="job-type") as run:
    # 使用するアーティファクトを指定します。形式は "name:alias" です
    artifact = run.use_artifact("bike-dataset:latest")

    # アーティファクト全体をダウンロードします
    datadir = artifact.download()

    # 特定のファイルをダウンロードします
    entry = artifact.get_entry("bike.png")
    file_path = entry.download() # bike.png のみをダウンロードします

run を作成したり、run 入力との関係を記録したりせずにアーティファクトをダウンロードするには、Public API を使用します。

W&B Python SDK をインポートし、wandb.Api() でクライアントオブジェクトを作成します。
wandb.Api.artifact() を使用してアーティファクトのバージョンを取得します。
返された Artifact オブジェクトから、すべての file または特定の file をダウンロードします。

アーティファクトのパスは entity/project/artifact:alias 形式で指定します。

import wandb

api = wandb.Api()
artifact = api.artifact("entity/project/artifact:alias")
artifact.download()

W&B サーバーからアーティファクトをダウンロードするには、wandb artifact get コマンドを使用します。

$ wandb artifact get project/artifact:alias --root mnist/

アーティファクトを部分的にダウンロードする

プレフィックスを指定して、アーティファクトの一部だけを必要に応じてダウンロードできます。単一の file またはサブフォルダーの内容をダウンロードするには、path_prefix= (wandb.Artifact.download(path_prefix=)) パラメーターを使用します。

with wandb.init(project="project-name", job_type="job-type") as run:
    # 使用する artifact を指定します。形式は "name:alias"
    artifact = run.use_artifact("bike-dataset:latest")

    # 特定のファイルまたはサブフォルダーをダウンロードする
    artifact.download(path_prefix="bike.png") # bike.png のみをダウンロードする

また、特定のディレクトリから file をダウンロードすることもできます。その場合は、path_prefix= パラメーターにディレクトリを指定します。前のコードスニペットに続けて、次のように記述します。

# images/bikes ディレクトリ内のファイルをダウンロードする
artifact.download(path_prefix="images/bikes/") 

ダウンロードしたアーティファクトの file を検証する

アーティファクトをダウンロードしたら、wandb.Artifact.verify() を呼び出して、ディスク上のローカル file がアーティファクトの manifest と一致するかどうかを確認します。次の例では、run の一部としてアーティファクトをダウンロードし、ダウンロードした file を検証します。

import wandb

with wandb.init(project="project-name", job_type="job-type") as run:
    artifact = run.use_artifact("entity/project/my-dataset:latest")
    artifact_dir = artifact.download()
    artifact.verify(artifact_dir)

wandb.Artifact.verify() は、ローカル file のチェックサムを再計算し、アーティファクトの manifest に記録されているチェックサムと比較します。file が欠落または変更されている場合、あるいはアーティファクトに含まれていない file がディレクトリに存在する場合、検証は失敗します。

アーティファクトの検証に関する考慮事項

wandb.Artifact.verify() は reference エントリを検証しません。
digest_algorithm="XXH128" で作成されたアーティファクトに対して wandb.Artifact.verify() を使用するには、W&B Python SDK バージョン 0.29.0 以降が必要です。これより前の SDK バージョンは XXH128 の manifest エントリをサポートしていないため、検証は失敗します。

別のプロジェクトのアーティファクトを使用する

アーティファクトを参照するには、そのアーティファクトの名をプロジェクト名とあわせて指定します。アーティファクトの名にentity名も指定すると、entityをまたいでアーティファクトを参照することもできます。以下のコード例は、現在のW&B runへの入力として別のプロジェクトのアーティファクトをクエリする方法を示しています。

with wandb.init(project="project-name", job_type="job-type") as run:
    # 別のプロジェクトのartifactをW&BにクエリしてこのrunへのInputとしてマークする
    #
    artifact = run.use_artifact("my-project/artifact:alias")

    # 別のentityのartifactを使用してこのrunへのInputとしてマークする
    #
    artifact = run.use_artifact("my-entity/my-project/artifact:alias")

アーティファクトを作成して同時に使用する

アーティファクトを作成すると同時に使用できます。アーティファクトオブジェクトを作成し、use_artifact に渡します。これにより、まだ存在していない場合は W&B にアーティファクトが作成されます。wandb.Run.use_artifact() API は冪等であるため、何度呼び出しても問題ありません。

import wandb

with wandb.init(project="project-name", job_type="job-type") as run:
    artifact = wandb.Artifact("reference model")
    artifact.add_file("model.h5")
    run.use_artifact(artifact)

アーティファクトの作成について詳しくは、アーティファクトを作成するを参照してください。

ガイド

インテグレーション

リファレンス

W&B に保存されているアーティファクトをダウンロードして使用する

アーティファクトを部分的にダウンロードする

ダウンロードしたアーティファクトの file を検証する

別のプロジェクトのアーティファクトを使用する

アーティファクトを作成して同時に使用する

​W&B に保存されているアーティファクトをダウンロードして使用する

​アーティファクト を部分的にダウンロードする

​ダウンロードしたアーティファクト の file を検証する

​別のプロジェクトのアーティファクトを使用する

​アーティファクト を作成して同時に使用する

W&B に保存されているアーティファクトをダウンロードして使用する

アーティファクトを部分的にダウンロードする

ダウンロードしたアーティファクトの file を検証する

別のプロジェクトのアーティファクトを使用する

アーティファクトを作成して同時に使用する