W&B プラットフォームを GCP にデプロイする

• VPC
• Cloud SQL for MySQL
• Cloud Storage バケット
• Google Kubernetes Engine
• KMS 暗号キー
• ロードバランサ

• Redis のためのメモリストア
• Pub/Sub メッセージシステム

​

事前要件の許可

​

一般的な手順

1. 開発環境を準備します。
   • Terraform をインストールします。
   • 使用するコードを含む Git リポジトリを作成することをお勧めしますが、ファイルをローカルに保持することもできます。
   • Google Cloud Console でプロジェクトを作成します。
   • GCP に認証します（gcloud をインストール しておくことを確認してください） gcloud auth application-default login
2. terraform.tfvars ファイルを作成します。 tvfars ファイルの内容はインストールタイプに応じてカスタマイズできますが、最低限の推奨事項は以下の例のようになります。
   Report incorrect code

   Copy

   Ask AI

   project_id  = "wandb-project"
   region      = "europe-west2"
   zone        = "europe-west2-a"
   namespace   = "wandb"
   license     = "xxxxxxxxxxyyyyyyyyyyyzzzzzzz"
   subdomain   = "wandb-gcp"
   domain_name = "wandb.ml"
   

   ここで定義する変数はデプロイメントの前に決定する必要があります。namespace 変数は、Terraform によって作成されたすべてのリソースにプレフィックスとして付ける文字列になります。 subdomain と domain の組み合わせが W&B が設定される FQDN を形成します。上記の例では、W&B FQDN は wandb-gcp.wandb.ml となります。
3. variables.tf ファイルを作成します。 terraform.tfvars で設定されたすべてのオプションに対して、Terraform は対応する変数宣言を求めます。
   Report incorrect code

   Copy

   Ask AI

   variable "project_id" {
     type        = string
     description = "Project ID"
   }
   
   variable "region" {
     type        = string
     description = "Google region"
   }
   
   variable "zone" {
     type        = string
     description = "Google zone"
   }
   
   variable "namespace" {
     type        = string
     description = "Namespace prefix used for resources"
   }
   
   variable "domain_name" {
     type        = string
     description = "Domain name for accessing the Weights & Biases UI."
   }
   
   variable "subdomain" {
     type        = string
     description = "Subdomain for access the Weights & Biases UI."
   }
   
   variable "license" {
     type        = string
     description = "W&B License"
   }
   

​

デプロイメント - 推奨 (~20 分)

1. main.tf を作成します。 一般的な手順 でファイルを作成したのと同じディレクトリに、次の内容の main.tf ファイルを作成します：
   Report incorrect code

   Copy

   Ask AI

   provider "google" {
    project = var.project_id
    region  = var.region
    zone    = var.zone
   }
   
   provider "google-beta" {
    project = var.project_id
    region  = var.region
    zone    = var.zone
   }
   
   data "google_client_config" "current" {}
   
   provider "kubernetes" {
     host                   = "https://${module.wandb.cluster_endpoint}"
     cluster_ca_certificate = base64decode(module.wandb.cluster_ca_certificate)
     token                  = data.google_client_config.current.access_token
   }
   
   # 必須サービスをすべて起動
   module "wandb" {
     source  = "wandb/wandb/google"
     version = "~> 5.0"
   
     namespace   = var.namespace
     license     = var.license
     domain_name = var.domain_name
     subdomain   = var.subdomain
   }
   
   # プロビジョニングされた IP アドレスで DNS を更新する必要があります
   output "url" {
     value = module.wandb.url
   }
   
   output "address" {
     value = module.wandb.address
   }
   
   output "bucket_name" {
     value = module.wandb.bucket_name
   }
   

2. W&B をデプロイします。 W&B をデプロイするには、次のコマンドを実行します：
   Report incorrect code

   Copy

   Ask AI

   terraform init
   terraform apply -var-file=terraform.tfvars
   

​

REDIS キャッシュを使用したデプロイメント

[...]

module "wandb" {
  source  = "wandb/wandb/google"
  version = "~> 1.0"

  namespace    = var.namespace
  license      = var.license
  domain_name  = var.domain_name
  subdomain    = var.subdomain
  allowed_inbound_cidrs = ["*"]
  # Redis を有効化
  create_redis = true

}
[...]

​

外部キューを使用したデプロイメント

[...]

module "wandb" {
  source  = "wandb/wandb/google"
  version = "~> 1.0"

  namespace          = var.namespace
  license            = var.license
  domain_name        = var.domain_name
  subdomain          = var.subdomain
  allowed_inbound_cidrs = ["*"]
  # Pub/Sub を作成して使用
  use_internal_queue = false

}

[...]

​

その他のデプロイメントオプション

​

手動設定

• PubSub Topic と Subscription
• ストレージバケット
• PubSub 通知

​

PubSub Topic と Subscription の作成

1. GCP Console 内の Pub/Sub サービスに移動します。
2. Create Topic を選択してトピックに名前を付けます。
3. ページの下部で、Create subscription を選択します。 Delivery Type が Pull に設定されていることを確認します。
4. Create をクリックします。

​

ストレージバケットの作成

1. Cloud Storage バケット ページに移動します。
2. Create bucket を選択してバケットに名前を付けます。 Standard の ストレージクラス を選択していることを確認します。

• 前のステップで作成したバケットへのアクセス
• このバケットに対する storage.objectAdmin ロール。 詳細については、https://cloud.google.com/storage/docs/access-control/using-iam-permissions#bucket-add を参照してください。

3. CORS アクセスを有効化します。これはコマンドラインのみで実行できます。まず、以下の CORS 設定を含む JSON ファイルを作成します。

cors:
- maxAgeSeconds: 3600
  method:
   - GET
   - PUT
     origin:
   - '<YOUR_W&B_SERVER_HOST>'
     responseHeader:
   - Content-Type

4. gcloud が正しくインストールされ、適切な GCP プロジェクトにログインしていることを確認してください。
5. 次に、以下を実行します：

gcloud storage buckets update gs://<BUCKET_NAME> --cors-file=<CORS_CONFIG_FILE>

​

PubSub 通知の作成

1. GCP プロジェクトにログインします。
2. ターミナルで次の操作を実行します：

gcloud pubsub topics list  # トピックの名前を参照用にリスト表示
gcloud storage ls          # バケットの名前を参照用にリスト表示

# バケット通知を作成
gcloud storage buckets notifications create gs://<BUCKET_NAME> --topic=<TOPIC_NAME>

​

W&B サーバーの設定

1. 最後に、W&B の System Connections ページに http(s)://YOUR-W&B-SERVER-HOST/console/settings/system を開きます。
2. プロバイダーとして Google Cloud Storage (gcs) を選択します。
3. GCS バケットの名前を提供します。

4. 設定を更新 を押して、新しい設定を適用します。

​

W&B サーバーのアップグレード

1. あなたの wandb_app モジュールに wandb_version を追加します。アップグレードしたい W&B のバージョンを指定します。例えば、以下の行は W&B バージョン 0.48.1 を指定します：

module "wandb_app" {
    source  = "wandb/wandb/kubernetes"
    version = "~>5.0"

    license       = var.license
    wandb_version = "0.58.1"

2. 設定を更新した後、Deployment option section に記載されている手順を完了します。