Databricks - Weights & Biases Documentation

W&B は、Databricks 環境での W&B の Jupyter notebook エクスペリエンスをカスタマイズすることで、Databricks と統合されています。このページでは、Spark 上で実行されるノートブックから実験をトラッキングし、メトリクスをログできるように、Databricks クラスターに W&B をインストールして認証する方法を説明します。

Databricksを設定する

DatabricksのノートブックからW&Bを使用するには、クラスターにwandbパッケージをインストールし、ノートブックからW&Bにログできるように認証を設定する必要があります。

クラスターにwandbをインストールするクラスターの設定で対象のクラスターを選択し、Libraries > Install New > PyPI をクリックして、wandbパッケージを追加します。

認証を設定する W&Bアカウントを認証するには、ノートブックが実行時にクエリできるDatabricksシークレットを追加します。これにより、ノートブックにAPIキーをハードコードせずに済みます。

# Databricks CLIをインストールする
pip install databricks-cli

# Databricks UIでトークンを生成する
databricks configure --token

# 2つのコマンドのいずれかを使用してスコープを作成します（Databricksでセキュリティ機能が有効かどうかによって異なります）
# security add-onあり
databricks secrets create-scope --scope wandb
# security add-onなし
databricks secrets create-scope --scope wandb --initial-manage-principal users

# https://wandb.ai/settings でAPIキーを作成する
databricks secrets put --scope wandb --key api_key

例

以下の例では、前述のシークレットを使用してログインし、Databricksノートブックからのログ記録を開始する方法を示します。

基本的な例

import os
import wandb

api_key = dbutils.secrets.get("wandb", "api_key")
wandb.login(key=api_key)

with wandb.init() as run:
    run.log({"foo": 1})

Sweeps

wandb.sweep() または wandb.agent() を使用するノートブックでは、entity と project を環境変数で設定する必要があります。

import os

os.environ["WANDB_ENTITY"] = "my-entity"
os.environ["WANDB_PROJECT"] = "my-project-that-exists"

​Databricksを設定する

​例

​基本的な例

​Sweeps

Databricksを設定する

例

基本的な例

Sweeps