Weights & Biases에서는 W&B Multi-tenant Cloud 또는 W&B Dedicated Cloud 배포 유형과 같은 완전 관리형 배포 옵션을 권장합니다. Weights & Biases의 완전 관리형 서비스는 사용하기 간편하고 안전하며, 필요한 설정이 최소화되거나 전혀 없습니다.
필수
구성 요소를 배포합니다.
- Azure Resource Group
- Azure Virtual Network (VPC)
- Azure MySQL Flexible Server
- Azure Storage Account & Blob Storage
- Azure Kubernetes Service
- Azure Application Gateway
- Azure Cache for Redis
- Azure Event Grid
전제 조건 권한
AzureRM provider를 구성하는 가장 간단한 방법은 Azure CLI를 이용하는 것이지만, Azure Service Principal을 사용한 자동화도 유용할 수 있습니다. 어떤 인증 방법을 사용하든 Terraform을 실행할 계정은 도입부에 설명된 모든 구성 요소를 생성할 수 있어야 합니다.일반적인 단계
이 주제의 단계는 이 문서에서 다루는 모든 배포 옵션에 공통적입니다.- 개발 환경을 준비합니다.
- Terraform을 설치합니다.
- 사용할 코드로 Git repository를 만드는 것이 좋지만, 파일을 로컬에 보관할 수도 있습니다.
-
terraform.tfvars
파일 만들기tvfars
파일 내용은 설치 유형에 따라 사용자 정의할 수 있지만, 최소 권장 사항은 아래 예제와 같습니다.여기에 정의된 변수는 배포 전에 결정해야 합니다.namespace
변수는 Terraform에서 생성한 모든 리소스의 접두사가 되는 문자열입니다.subdomain
과domain
의 조합은 Weights & Biases가 구성될 FQDN을 형성합니다. 위의 예에서 W&B FQDN은wandb-aws.wandb.ml
이고 FQDN 레코드가 생성될 DNSzone_id
입니다. -
versions.tf
파일 만들기 이 파일에는 AWS에 W&B를 배포하는 데 필요한 Terraform 및 Terraform provider 버전이 포함됩니다.
variables.tf
파일 만들기.terraform.tfvars
에서 구성된 모든 옵션에 대해 Terraform은 해당 변수 선언이 필요합니다.
권장 배포
이것은 가장 간단한 배포 옵션 구성으로, 모든필수
구성 요소를 생성하고 Kubernetes Cluster
에 최신 버전의 W&B
를 설치합니다.
main.tf
만들기일반적인 단계
에서 파일을 만든 동일한 디렉토리에 다음 내용으로main.tf
파일을 만듭니다.
-
W&B에 배포 W&B를 배포하려면 다음 코맨드를 실행합니다.
REDIS Cache를 사용한 배포
또 다른 배포 옵션은Redis
를 사용하여 SQL 쿼리를 캐시하고 Experiments에 대한 메트릭을 로드할 때 애플리케이션 응답 속도를 높입니다.
캐시를 활성화하려면 권장 배포에서 사용한 것과 동일한 main.tf
파일에 create_redis = true
옵션을 추가해야 합니다.
외부 큐를 사용한 배포
배포 옵션 3은 외부message broker
를 활성화하는 것으로 구성됩니다. W&B는 broker를 내장하고 있기 때문에 선택 사항입니다. 이 옵션은 성능 향상을 가져오지 않습니다.
메시지 broker를 제공하는 Azure 리소스는 Azure Event Grid
이며, 이를 활성화하려면 권장 배포에서 사용한 것과 동일한 main.tf
에 use_internal_queue = false
옵션을 추가해야 합니다.