안전한 스토리지 커넥터
소개
안전한 스토리지 커넥터를 사용하면 W&B 실행과 관련된 아티팩트 및 기타 파일을 자신이 관리하는 스토리지 버킷에 저장할 수 있습니다. 이를 통해 AI 워크플로우의 파일을 저장하는 위치에 대해 더 많은 제어권을 갖게 되며, 기업 거버넌스 요구 사항을 준수하는 데 도움이 될 수 있습니다. 안전한 스토리지에는 두 가지 레벨이 있습니다:
- 인스턴스 레벨: 인스턴스 레벨 안전한 스토리지를 사용하면 자신이 관리하는 버킷을 사용하여 W&B 서버 인스턴스의 실행과 관련하여 사용자가 액세스할 수 있는 모든 파일을 저장할 수 있습니다. 이 기능은 전용 클라우드 및 자체 관리 인스턴스에서만 사용할 수 있으며; SaaS 클라우드 인스턴스의 경우 인스턴스 레벨 버킷은 W&B에 의해 완전히 관리됩니다.
- 팀 레벨: 팀 레벨 안전한 스토리지를 사용하면 조직 내 팀이 인스턴스 레벨에서 사용하는 것과 별도의 스토리지 버킷을 활용할 수 있습니다. 이는 높은 수준의 데이터 접근 제어와 엄격한 컴플라이언스 요구 사항이 있는 팀에 대한 데이터 격리를 제공합니다. 이 기능은 SaaS 클라우드를 포함한 모든 W&B 조직에서 사용할 수 있습니다.
전용 클라우드 또는 자체 관리 인스턴스의 경우, 조직 내 모든 팀 또는 일부 팀에 대해 별도로 인스턴스 레벨과 팀 레벨에서 안전한 스토리지 커넥터를 구성할 수 있습니다.
예를 들어, 전용 클라우드 인스턴스에 Omega와 Kappa라는 두 팀이 있고 인스턴스 레벨에서 안전한 스토리지 커넥터를 구성한다고 가정해 봅시다. 그 다음, Omega 팀에 대해 별도로 안전한 스토리지 커넥터를 구성한다면, Omega 팀의 실행과 관련된 파일은 팀 레벨 안전한 스토리지에서 접근할 수 있습니다.
반대로, Kappa 팀에 대해 안전한 스토리지 커넥터를 구성하지 않으면, Kappa 팀의 실행과 관련된 파일은 인스턴스 레벨 안전한 스토리지에서 접근할 수 있습니다.
자체 관리 인스턴스의 경우, 인스턴스 레벨 안전한 스토리지 커넥터는 고객이 완전히 관리하기 때문에 기본값입니다. 이 경우 전용 클라우드를 사용할 때와 비교하여 특별한 의미가 없습니다. 팀 레벨 안전한 스토리지 커넥터는 자체 관리 인스턴스, 특히 서로 다른 사업부 및 부서가 인프라와 관리 자원을 효율적으로 활용하기 위해 인스턴스를 공유할 때 같은 이점을 제공합니다. 이는 별도의 고객 참여를 위한 ML 워크플로우를 관리하는 별도의 프로젝트 팀이 있는 회사에도 적용됩니다.
사용 가능성 매트릭스
다음 표는 다양한 W&B 서버 배포 유형에서 다양한 종류의 안전한 스토리지 커넥터의 사용 가능성을 보여줍니다. X는 해당 배포 유형에서 기능이 사용 가능함을 의미합니다.
| W&B 서버 배포 유형 | 인스턴스 레벨 | 팀 레벨 | 추가 정보 |
|---|---|---|---|
| 전용 클라우드 | X | X | Amazon Web Services 및 Google Cloud Platform에서 인스턴스 및 팀 레벨 안전한 스토리지 커넥터를 모두 사용할 수 있습니다. Azure 클라우드의 경우 인스턴스 레벨 안전한 스토리지 커넥터만 사용할 수 있습니다. |
| SaaS 클라우드 | X | Amazon Web Services 및 Google Cloud Platform에서만 팀 레벨 안전한 스토리지 커넥터를 사용할 수 있습니다. W&B는 Azure 클라우드의 기본 및 유일한 버킷을 완전히 관리합니다. | |
| 자체 관리 | X | X | 자체 관리 인스턴스에 대한 안전한 스토리지 커넥터의 중요성에 대한 앞선 note를 참조하십시오. MinIO와 같은 S3 호환 안전한 스토리지 솔루션을 사용하는 것도 가능합니다. |
전용 클라우드의 인스턴스에서와 같이 인스턴스 또는 팀 레벨의 안전한 스토리지 커넥터를 동일한 클라우드의 버킷과 함께 구성하십시오. 다른 클라우드의 버킷을 구성하는 것은 불가능합니다.
W&B는 W&B 아티팩트를 삭제하기 위해 가비지 컬렉션 프로세스를 사용합니다. W&B가 아티팩트를 어떻게 삭제하는지와 W&B를 어떻게 사용하는지에 따라 가비지 컬렉션을 활성화하는 방법에 대한 자세한 내용은 가비지 컬렉션 가이드를 참조하십시오.
팀 레벨 안전한 스토리지 커넥터 구성
클라우드 스토리지 버킷은 팀 생성 시점에 한 번만 구성할 수 있습니다. 버킷을 프로비저닝하기 위해, W&B는 AWS 또는 GCP용으로 W&B가 관리하는 Terraform 모듈을 사용하도록 권장합니다.
팀을 생성할 때 외부 스토리지를 선택하여 클라우드 스토리지 버킷을 구성하십시오. 공급자를 선택하고 버킷 이름과 스토리지 암호화 키 ID(해당되는 경우)를 입력한 다음 팀 생성을 선택하십시오.
페이지 하단에 버킷에 액세스하는 데 문제가 있거나 버킷 설정이 유효하지 않은 경우 오류 또는 경고가 표시됩니다.
시스템 관리자만 안전한 스토리지 커넥터를 구성할 수 있는 권한을 가집니다. 드롭다운에서 기존 클라우드 스토리지 버킷을 선택하여 여러 팀 간에 동일한 클라우드 스토리지 버킷을 사용할 수 있습니다.
전용 클라우드 또는 자체 관리 인스턴스를 위한 인스턴스 레벨 안전한 스토리지 커넥터를 구성하려면 W&B 팀에 문의하십시오.