Artifacts

Try in W&B

Try in Colab

W&B Artifacts를 사용하여 직렬화된 데이터를 W&B Runs의 입력 및 출력으로 추적하고 버전 관리하세요. 예를 들어, 모델 트레이닝 run은 데이터셋 입력으로, 트레인된 모델을 출력으로서 받아드릴 수 있습니다. Run에 하이퍼파라미터와 메타데이터를 로깅하는 것 외에도, 아티팩트를 사용하여 모델을 트레이닝하는 데 사용된 데이터셋을 입력으로, 결과적인 모델 체크포인트를 출력으로 로깅할 수 있습니다. 그렇기 때문에 "이 모델이 어떤 버전의 데이터셋으로 트레이닝되었는가"라는 질문에 항상 답할 수 있습니다.

요약하자면, W&B Artifacts를 사용하면 다음과 같은 작업을 수행할 수 있습니다:

• 모델이 학습된 데이터를 포함한 모델의 출처 확인.
• 모든 데이터셋 변경 또는 모델 체크포인트마다 버전 관리.
• 팀 전체에서의 모델과 데이터셋의 쉬운 재사용.

위 다이어그램은 runs의 입력 및 출력으로 아티팩트를 사용하여 전체 ML 워크플로우를 어떻게 활용할 수 있는지 보여줍니다.

작동 방식

네 줄의 코드로 아티팩트를 생성합니다:

1. W&B run을 생성합니다.
2. wandb.Artifact API를 사용하여 아티팩트 객체를 생성합니다.
3. 하나 이상의 파일(예: 모델 파일 또는 데이터셋)을 아티팩트 오브젝트에 추가합니다.
4. W&B에 아티팩트를 로그합니다.

run = wandb.init(project="artifacts-example", job_type="add-dataset")
artifact = wandb.Artifact(name="my_data", type="dataset")
artifact.add_dir(local_path="./dataset.h5")  # 아티팩트에 데이터셋 디렉토리 추가
run.log_artifact(artifact)  # "my_data:v0"라는 아티팩트 버전을 로깅

팁

앞선 코드조각과 이 페이지에 링크된 colab 노트북은 파일을 W&B에 업로드하여 추적하는 방법을 보여줍니다. 외부 오브젝트 스토리지(예: Amazon S3 버킷)에 저장된 파일이나 디렉토리에 레퍼런스를 추가하는 방법에 대해서는 외부 파일 추적 페이지를 참조하세요.

시작 방법

유스케이스에 따라 밑의 자료를 살펴보고 W&B Artifacts를 시작하세요:

• W&B Artifacts를 처음 사용하는 경우 Artifacts Colab 노트북을 살펴보는 것이 좋습니다.
• 데이터셋 아티팩트를 생성, 추적 및 사용하기 위해 사용할 수 있는 W&B Python SDK 커맨드의 단계별 개요를 확인하려면 아티팩트 가이드를 읽어보세요.
• 이 챕터를 통해 다음과 같은 내용을 배워보세요:
  • 아티팩트 구성 또는 새로운 아티팩트 버전 생성
  • 아티팩트 업데이트
  • 아티팩트 다운로드 및 사용
  • 아티팩트 삭제
• Python SDK Artifact APIs 와 Artifact CLI 참조 가이드도 살펴보세요.