W&B Launch を使用してスイープを作成する

W&B CLI を使って、Launch でプログラム的に W&B Sweep を作成します。

1. Sweep の設定を作成します。
2. スイープ設定内で完全なジョブ名を指定します。
3. スイープエージェントを初期化します。

例えば、以下のコードスニペットでは、ジョブの値に 'wandb/jobs/Hello World 2:latest' を指定しています。

# launch-sweep-config.yaml

job: 'wandb/jobs/Hello World 2:latest'
description: launch jobsを使ったスイープの例

method: bayes
metric:
  goal: minimize
  name: loss_metric
parameters:
  learning_rate:
    max: 0.02
    min: 0
    distribution: uniform
  epochs:
    max: 20
    min: 0
    distribution: int_uniform

# スケジューラ用のオプションパラメーター:

# scheduler:
#   num_workers: 1  # 同時にスイープを実行するスレッド数
#   docker_image: <スケジューラー用のベースイメージ>
#   resource: <例: local-container...>
#   resource_args:  # run に渡されるリソース引数
#     env: 
#         - WANDB_API_KEY

# Launch 用のオプションパラメーター
# launch: 
#    registry: <イメージのプル用のレジストリ>

スイープ設定の作成方法についての情報は、Define sweep configuration ページを参照してください。

4. 次に、スイープを初期化します。設定ファイルのパス、ジョブキューの名前、W&B エンティティ、プロジェクトの名前を指定します。

wandb launch-sweep <path/to/yaml/file> --queue <queue_name> --entity <your_entity> --project <project_name>

W&B Sweeps についての詳細は、Tune Hyperparameters チャプターを参照してください。

カスタムスケジューラーは、スケジューラージョブを作成することで作成できます。このガイドの目的のために、WandbScheduler を変更してより多くのログを提供します。

1. wandb/launch-jobs リポジトリをクローンします（特定の場所: wandb/launch-jobs/jobs/sweep_schedulers）
2. これで、wandb_scheduler.py を修正して、ログの増加を達成できます。例: _poll 関数にログを追加します。これは、毎回のポーリングサイクル（設定可能なタイミング）で呼び出され、次のスイープ run をローンチする前に行います。
3. 修正したファイルを実行して、以下のコマンドでジョブを作成します: python wandb_scheduler.py --project <project> --entity <entity> --name CustomWandbScheduler
4. 作成されたジョブの名前を、UI または前の呼び出しの出力で識別します。特に指定がない場合、これはコードアーティファクトジョブです。
5. スケジューラーが新しいジョブを指すようにスイープの設定を作成します。

...
scheduler:
  job: '<entity>/<project>/job-CustomWandbScheduler:latest'
...

Optuna は、指定されたモデルに最適なハイパーパラメーターを見つけるために様々なアルゴリズムを使用するハイパーパラメータ最適化フレームワークです（W&B と似ています）。サンプリングアルゴリズム に加え、Optuna は数多くの プルーニングアルゴリズム も提供し、パフォーマンスが低い run を早期に終了させることができます。多数の run を実行する際、これは時間とリソースを節約するのに特に有用です。クラスは非常に設定可能で、scheduler.settings.pruner/sampler.args ブロックに期待されるパラメーターを渡すだけです。

Optuna のスケジューリングロジックをジョブとして使用して Launch スイープを作成します。

1. まず、独自のジョブを作成するか、ビルド済みの Optuna スケジューラーイメージジョブを使用します。

   • 独自のジョブを作成する方法の例については、wandb/launch-jobs リポジトリを参照してください。
   • ビルド済みの Optuna イメージを使用するには、wandb/sweep-jobs プロジェクトで job-optuna-sweep-scheduler へ移動するか、ジョブ名を使用します: wandb/sweep-jobs/job-optuna-sweep-scheduler:latest。

2. ジョブを作成した後、スイープを作成できます。Optuna スケジューラージョブを指す job キーを含む scheduler ブロックを含むスイープ設定を構築します（以下の例）。

  # optuna_config_basic.yaml
  description: ベーシックな Optuna スケジューラー
  job: wandb/sweep-jobs/job-fashion-MNIST-train:latest
  run_cap: 5
  metric:
    name: epoch/val_loss
    goal: minimize

  scheduler:
    job: wandb/sweep-jobs/job-optuna-sweep-scheduler:latest
    resource: local-container  # イメージからソースされるスケジューラージョブに必須
    num_workers: 2

    # optuna 特有の設定
    settings:
      pruner:
        type: PercentilePruner
        args:
          percentile: 25.0  # 75% の run を終了
          n_warmup_steps: 10  # 最初の x ステップではプルーニングを無効に

  parameters:
    learning_rate:
      min: 0.0001
      max: 0.1

3. 最後に、launch-sweep コマンドでアクティブキューにスイープをローンチします。

wandb launch-sweep <config.yaml> -q <queue> -p <project> -e <entity>

Optuna スイープスケジューラージョブの正確な実装については、wandb/launch-jobs を参照してください。Optuna スケジューラーで可能な例については、wandb/examples をチェックしてください。