artifact 생성

import wandb

# 아티팩트 객체 생성
artifact = wandb.Artifact(name="<name>", type="<type>")

artifact.add_file(local_path="path/to/file.txt", name="<name>")

artifact.add_dir(local_path="path/to/directory", name="<name>")

with wandb.init(project="<project>", job_type="<job-type>") as run:
    run.log_artifact(artifact)

import wandb

artifact = wandb.Artifact(name="<name>", type="<type>")
artifact.add_file(local_path="path/to/file.txt", name="<name>")
artifact.add_dir(local_path="path/to/directory", name="<name>")

with wandb.init(project="<project>", job_type="<job-type>") as run:
    run.log_artifact(artifact)

root-directory
| - hello.txt
| - images/
| -- | cat.png
| -- | dog.png
| - checkpoints/
| -- | model.h5
| - models/
| -- | model.h5

import wandb

# 아티팩트 객체 초기화
artifact = wandb.Artifact(name="<name>", type="<type>")

# 단일 파일 추가
artifact.add_file(local_path="path/file.format")

artifact.add_file("hello.txt")

hello.txt

artifact.add_file(
    local_path="hello.txt", 
    name="new/path/hello_world.txt"
    )

new/path/hello_world.txt

import wandb

# 아티팩트 객체 초기화
artifact = wandb.Artifact(name="<name>", type="<type>")

# 아티팩트에 로컬 디렉터리 추가
artifact.add_dir(local_path="path/file.format", name="optional-prefix")

# URI 레퍼런스 추가
artifact.add_reference(uri="uri", name="optional-name")

import wandb
import time

# 이 예제는 데모 목적으로 Ray를 사용하여 병렬로 실행합니다.
import ray

ray.init()

artifact_type = "dataset"
artifact_name = "parallel-artifact"
table_name = "distributed_table"
parts_path = "parts"
num_parallel = 5

# 병렬 작성자의 각 배치는 고유한
# 그룹 이름을 가져야 합니다.
group_name = "writer-group-{}".format(round(time.time()))


@ray.remote
def train(i):
    """
    Our writer job. Each writer will add one image to the artifact.
    """
    with wandb.init(group=group_name) as run:
        artifact = wandb.Artifact(name=artifact_name, type=artifact_type)

        # wandb 테이블에 데이터를 추가합니다.
        table = wandb.Table(columns=["a", "b", "c"], data=[[i, i * 2, 2**i]])

        # 아티팩트의 폴더에 테이블을 추가합니다.
        artifact.add(table, "{}/table_{}".format(parts_path, i))

        # 아티팩트를 upsert하면 아티팩트에 데이터가 생성되거나 추가됩니다.
        run.upsert_artifact(artifact)


# runs를 병렬로 실행합니다.
result_ids = [train.remote(i) for i in range(num_parallel)]

# 아티팩트를 완료하기 전에 모든 작성자의 파일이
# 추가되었는지 확인하기 위해 모든 작성자를 join합니다.
ray.get(result_ids)

# 모든 작성자가 완료되면 아티팩트를 finish하여
# 준비 완료 상태로 표시합니다.
with wandb.init(group=group_name) as run:
    artifact = wandb.Artifact(artifact_name, type=artifact_type)

    # 테이블 폴더를 가리키는 "PartitionTable"을 생성하고
    # 아티팩트에 추가합니다.
    artifact.add(wandb.data_types.PartitionedTable(parts_path), table_name)

    # finish_artifact는 아티팩트를 확정하여 이 버전에 대한
    # 이후 "upsert"를 허용하지 않습니다.
    run.finish_artifact(artifact)

from wandb.apis.public.files import Files
from wandb.apis.public.api import Api

# 예시 run 객체
run = Api().run("<entity/project/run-id>")

# run의 파일을 순회하기 위한 Files 객체 생성
files = Files(api.client, run)

# 파일 순회
for file in files:
    print(f"File Name: {file.name}")
    print(f"File URL: {file.url}")
    print(f"Path to file in the bucket: {file.direct_url}")