SageMaker

SageMaker Integration

W&Bは、Amazon SageMakerと統合し、ハイパーパラメーターの自動読み取り、分散runのグループ化、チェックポイントからのrunの再開が可能です。

認証

W&Bは、トレーニングスクリプトに関連するsecrets.envという名前のファイルを探し、wandb.init()が呼ばれるときに環境にロードします。実験を開始するスクリプトでwandb.sagemaker_auth(path="source_dir")を呼び出すことでsecrets.envファイルを生成できます。このファイルを.gitignoreに追加してください。

既存のEstimators

SageMakerの事前設定済みestimatorを使用している場合、wandbを含むrequirements.txtをソースディレクトリに追加する必要があります。

wandb

Python 2を実行しているestimatorを使用している場合は、wandbをインストールする前に、wheelからpsutilを直接インストールする必要があります。

https://wheels.galaxyproject.org/packages/psutil-5.4.8-cp27-cp27mu-manylinux1_x86_64.whl
wandb

備考

GitHubで完全な例が利用できますし、ブログでさらに詳細を読めます。\ また、SageMakerとW&Bを使用した感情分析器のデプロイに関するチュートリアルもご覧いただけます。

注意

W&B スイープエージェントは、SageMaker のインテグレーションが無効になっていない場合、SageMaker ジョブで期待どおりの振る舞いをしません。SageMaker のインテグレーションを runs で無効にするには、wandb.init の呼び出しを以下のように変更してください。

wandb.init(..., settings=wandb.Settings(sagemaker_disable=True))