sweep エージェントを開始する - Weights & Biases Documentation

このページでは、W&B がハイパーパラメーター探索を実行できるように、1 台以上のマシンで sweep エージェントを開始する方法を説明します。sweep エージェントは、sweep を初期化するときに定義した sweep 設定を使用して、さまざまなハイパーパラメーターの組み合わせを探索します。W&B は、sweep エージェントが実行するハイパーパラメーターの組み合わせごとに、新しい run を作成します。実行中の sweep エージェントを一時停止、再開、停止、またはキャンセルする方法については、sweep の管理を参照してください。続行する前に、次の作業を行ってください。

トレーニングスクリプトを設定し、W&B でハイパーパラメーターの組み合わせを作成してトラッキングできるようにします。例については、コードに W&B を追加するを参照してください。
sweep 用の設定ファイルを定義します。

以下の例では、W&B CLI または Python から sweep エージェントを開始する方法を示します。sweep を初期化したときに W&B から返される sweep ID が必要です。短い sweep ID は単独で使用することもできます (例: dtzl1o7u) 。また、entity と project をパスとして含めることもできます。

entity/project/sweep_ID

以下を指定します。

entity: ご自身の W&B ユーザー名またはチーム名。
project: W&B が run の出力を保存する project の名前です。project を指定しない場合、W&B は run を “Uncategorized” という project に保存します。
sweep_ID: W&B が生成する疑似ランダムな一意の ID です。

CLI
Python script or notebook

sweep を開始するには、wandb agent コマンドを使用します。sweep を初期化したときに W&B から返される sweep ID を指定してください。次のコマンドの [SWEEP-ID] を、ご自身の sweep ID に置き換えてください。

wandb agent [SWEEP-ID]

エージェントを中断したとき (たとえば Ctrl+C) に安全にシャットダウンするには、wandb agent --forward-signals [SWEEP-ID] を使用してください。これにより、現在の run がシグナルを受け取り、正常に終了できます。詳しくは、Signal handling and sweep runs を参照してください。

sweep を開始するには、wandb.agent() を使用します。sweep を初期化したときに W&B から返される sweep ID と、トレーニングスクリプトのエントリポイントとなる関数名を指定してください。次のコードでは、[SWEEP-ID] をご自身の sweep ID に、[FUNCTION-NAME] をトレーニング関数名に置き換えてください。

wandb.agent(sweep_id="[SWEEP-ID]", function="[FUNCTION-NAME]")

W&B でエージェントからトレーニング run へのシグナル転送がサポートされるのは、CLI (wandb agent --forward-signals) を使用する場合のみです。Python の wandb.agent() では、トレーニング関数が child process ではなくスレッド内で実行されるため、シグナル転送はサポートされていません。この方法を使用する場合のトレーニングスクリプトの設定例については、「Add W&B to your code」の Python script or notebook tab を参照してください。

マルチプロセッシングPython 標準ライブラリの multiprocessing または PyTorch の pytorch.multiprocessing パッケージを使用する場合は、wandb.agent() と wandb.sweep() の Call を if __name__ == '__main__': でラップする必要があります。例:

if __name__ == '__main__':
    wandb.agent(sweep_id="[SWEEP-ID]", function="[FUNCTION]", count="[COUNT]")

この慣例でコードをラップすると、Python はスクリプトを直接実行した場合にのみそのコードを実行し、ワーカープロセスがモジュールとして import したときには実行しません。マルチプロセッシングの詳細については、Python 標準ライブラリ multiprocessing または PyTorch multiprocessing を参照してください。if __name__ == '__main__': の慣例の詳細については、Python で main 関数を定義するを参照してください。

sweep エージェントが試行する Runs の数を制限する

デフォルトでは、ランダム探索とベイズ探索は無期限に実行されるため、エージェントが試行する Runs の数に上限を設定してください。sweep エージェントが試行する Runs の数を指定することで、処理量を制限できます。以下のコードスニペットでは、CLI と Jupyter ノートブックまたは Python script 内で Runs の最大数を設定する方法を示します。

ランダム探索とベイズ探索は無期限に実行されます。run 数を設定しない場合は、コマンドライン、Python script 内、または Sweeps UI からプロセスを停止する必要があります。

CLI
Python script or notebook

まず、wandb sweep コマンドで sweep を初期化します。詳細は、sweeps の初期化を参照してください。

wandb sweep config.yaml

次に、count フラグに整数値を渡して、試行する Runs の最大数を設定します。

NUM=10
SWEEPID="dtzl1o7u"
wandb agent --count $NUM $SWEEPID

まず、sweep を初期化します。詳細は、sweeps の初期化を参照してください。

sweep_id = wandb.sweep(sweep_config)

次に、sweep ジョブを開始します。sweep の初期化時に生成された sweep ID を指定します。count パラメーターに整数値を渡して、試行する Runs の最大数を設定します。

sweep_id, count = "dtzl1o7u", 10
wandb.agent(sweep_id, count=count)

同じ script またはノートブック内で、sweep エージェントの終了後に新しい run を開始する場合は、その前に wandb.teardown() を呼び出してください。

​sweep エージェントが試行する Runs の数を制限する

sweep エージェントが試行する Runs の数を制限する