W&B Models 시작하기

pip install wandb

import wandb

TEAM_ENTITY = "<Team_Entity>" # 팀 entity로 교체하세요
PROJECT = "my-awesome-project"

import random # 데이터 시뮬레이션을 위해 사용

def model(training_data: int) -> int:
    """데모 목적의 모델 시뮬레이션."""
    return training_data * 2 + random.randint(-1, 1)  

# 가중치와 노이즈 시뮬레이션
weights = random.random() # 랜덤 가중치 초기화
noise = random.random() / 5  # 노이즈 시뮬레이션을 위한 작은 랜덤 노이즈

# 하이퍼파라미터 및 설정
config = {
    "epochs": 10,  # 트레이닝할 에포크 수
    "learning_rate": 0.01,  # 옵티마이저의 학습률
}

# 컨텍스트 매니저를 사용하여 W&B runs 초기화 및 종료
with wandb.init(project=PROJECT, entity=TEAM_ENTITY, config=config) as run:    
    # 트레이닝 루프 시뮬레이션
    for epoch in range(config["epochs"]):
        xb = weights + noise  # 시뮬레이션된 입력 트레이닝 데이터
        yb = weights + noise * 2  # 시뮬레이션된 타겟 출력 (입력 노이즈의 두 배)
        
        y_pred = model(xb)  # 모델 예측값
        loss = (yb - y_pred) ** 2  # Mean Squared Error loss

        print(f"epoch={epoch}, loss={loss}")
        # 에포크와 loss를 W&B에 로그
        run.log({
            "epoch": epoch,
            "loss": loss,
        })

    # 모델 아티팩트의 고유 이름
    model_artifact_name = f"model-demo"  

    # 시뮬레이션된 모델 파일을 저장할 로컬 경로
    PATH = "model.txt" 

    # 모델을 로컬에 저장
    with open(PATH, "w") as f:
        f.write(str(weights)) # 모델 가중치를 파일에 저장

    # 아티팩트 오브젝트 생성
    # 로컬에 저장된 모델을 아티팩트 오브젝트에 추가
    artifact = wandb.Artifact(name=model_artifact_name, type="model", description="My trained model")
    artifact.add_file(local_path=PATH)
    artifact.save()

# 아티팩트 이름은 팀 프로젝트 내의 특정 아티팩트 버전을 지정합니다
artifact_name = f'{TEAM_ENTITY}/{PROJECT}/{model_artifact_name}:v0'
print("Artifact name: ", artifact_name)

REGISTRY_NAME = "Model" # W&B의 레지스트리 이름
COLLECTION_NAME = "DemoModels"  # 레지스트리 내 컬렉션 이름

# 레지스트리 내 아티팩트의 타겟 경로 생성
target_path = f"wandb-registry-{REGISTRY_NAME}/{COLLECTION_NAME}"
print("Target path: ", target_path)

with wandb.init(entity=TEAM_ENTITY, project=PROJECT) as run:
    model_artifact = run.use_artifact(artifact_or_name=artifact_name, type="model")
    run.link_artifact(artifact=model_artifact, target_path=target_path)

REGISTRY_NAME = "Model"  # W&B의 레지스트리 이름
COLLECTION_NAME = "DemoModels"  # 레지스트리 내 컬렉션 이름
VERSION = 0 # 가져올 아티팩트 버전

model_artifact_name = f"wandb-registry-{REGISTRY_NAME}/{COLLECTION_NAME}:v{VERSION}"
print(f"Model artifact name: {model_artifact_name}")

with wandb.init(entity=TEAM_ENTITY, project=PROJECT) as run:
    registry_model = run.use_artifact(artifact_or_name=model_artifact_name)
    local_model_path = registry_model.download()

pip install wandb wandb-workspaces -qqq

import wandb_workspaces.reports.v2 as wr

experiment_summary = """W&B를 사용하여 단순 모델을 트레이닝하기 위해 수행된 실험의 요약입니다."""
dataset_info = """트레이닝에 사용된 데이터셋은 단순 모델에 의해 생성된 합성 데이터로 구성됩니다."""
model_info = """모델은 약간의 노이즈가 있는 입력 데이터를 기반으로 출력을 예측하는 단순 선형 회귀 모델입니다."""

report = wr.Report(
    project=PROJECT,
    entity=TEAM_ENTITY,
    title="My Awesome Model Training Report",
    description=experiment_summary,
    blocks= [
        wr.TableOfContents(),
        wr.H2("실험 요약"),
        wr.MarkdownBlock(text=experiment_summary),
        wr.H2("데이터셋 정보"),
        wr.MarkdownBlock(text=dataset_info),
        wr.H2("모델 정보"),
        wr.MarkdownBlock(text = model_info),
        wr.PanelGrid(
            panels=[
                wr.LinePlot(title="Train Loss", x="Step", y=["loss"], title_x="Step", title_y="Loss")
                ],
            ),  
    ]

)

# W&B에 리포트 저장
report.save()

import wandb

# wandb API 초기화
api = wandb.Api()

# 이름에 `model` 문자열이 포함되어 있고 
# `text-classification` 태그 또는 `latest` 에일리어스를 가진 모든 아티팩트 버전 찾기
registry_filters = {
    "name": {"$regex": "model"}
}

# 논리 $or 연산자를 사용하여 아티팩트 버전 필터링
version_filters = {
    "$or": [
        {"tag": "text-classification"},
        {"alias": "latest"}
    ]
}

# 필터와 일치하는 모든 아티팩트 버전의 이터러블 반환
artifacts = api.registries(filter=registry_filters).collections().versions(filter=version_filters)

# 찾은 각 아티팩트의 이름, 컬렉션, 에일리어스, 태그, 생성 날짜 출력
for art in artifacts:
    print(f"artifact name: {art.name}")
    print(f"collection artifact belongs to: { art.collection.name}")
    print(f"artifact aliases: {art.aliases}")
    print(f"tags attached to artifact: {art.tags}")
    print(f"artifact created at: {art.created_at}\n")