環境変数 - Weights & Biases Documentation

自動化された環境でスクリプトを実行する場合は、スクリプトの実行前またはスクリプト内で設定した環境変数を使って W&B を制御できます。

# これは機密情報です。バージョン管理にチェックインしないでください
WANDB_API_KEY=$YOUR_API_KEY
# 名とメモは省略可能
WANDB_NAME="My first run"
WANDB_NOTES="Smaller learning rate, more regularization."

# wandb/settings ファイルをチェックインしない場合のみ必要
WANDB_ENTITY=$username
WANDB_PROJECT=$project

# スクリプトをクラウドにSyncしたくない場合
os.environ["WANDB_MODE"] = "offline"

# sweep IDのトラッキングをrunオブジェクトおよび関連クラスに追加する
os.environ["WANDB_SWEEP_ID"] = "b05fq58z"

任意の環境変数

これらの任意の環境変数を使用すると、リモートマシンでの認証設定などを行えます。

変数名	用途
`WANDB_API_KEY`	アカウントに紐づく認証キーを設定します。APIキーは User Settings で作成してください。リモートマシンで `wandb login` を実行していない場合は、これを設定する必要があります。
`WANDB_BASE_URL`	wandb/local を利用している場合は、この環境変数を `http://YOUR_IP:YOUR_PORT` に設定してください
`WANDB_CACHE_DIR`	デフォルトでは ~/.cache/wandb が使用されます。この環境変数で保存場所を上書きできます
`WANDB_CONFIG_DIR`	デフォルトでは ~/.config/wandb が使用されます。この環境変数で保存場所を上書きできます
`WANDB_CONFIG_PATHS`	wandb.config に読み込む YAML ファイルのカンマ区切りの一覧。設定を参照してください。
`WANDB_CONSOLE`	stdout / stderr のログを無効にするには、これを “off” に設定します。デフォルトは、対応する環境では “on” です。
`WANDB_DATA_DIR`	ステージング用Artifactsのアップロード先です。デフォルトの場所は、`platformdirs` Python パッケージの `user_data_dir` の値を使用するため、プラットフォームによって異なります。このディレクトリが存在し、実行ユーザーに書き込み権限があることを確認してください。
`WANDB_DIR`	生成されたすべてのファイルの保存先です。未設定の場合、トレーニングスクリプトを基準とした相対パス上の `wandb` ディレクトリがデフォルトになります。このディレクトリが存在し、実行するユーザーに書き込み権限があることを確認してください。これはダウンロードした artifacts の保存先は制御しません。artifacts の保存先は、`WANDB_ARTIFACT_DIR` 環境変数を使用して設定できます。
`WANDB_ARTIFACT_DIR`	ダウンロードした artifact をすべて保存する場所です。未設定の場合、トレーニングスクリプトからの相対パスにある `artifacts` ディレクトリがデフォルトで使用されます。このディレクトリが存在し、実行中のユーザーに書き込み権限があることを確認してください。これは生成されるメタデータファイルの保存場所は制御しません。保存場所は `WANDB_DIR` 環境変数で設定できます。
`WANDB_DISABLE_GIT`	wandb が git リポジトリを検出したり、最新の commit / diff を取得したりしないようにします。
`WANDB_DISABLE_CODE`	wandb がノートブックや git の差分を保存しないようにするには、これを true に設定します。git リポジトリ内にいる場合でも、現在のコミットは保存されます。
`WANDB_DOCKER`	これを Docker イメージのダイジェストに設定すると、run を復元できるようになります。`wandb docker` コマンドを使うと自動的に設定されます。イメージのダイジェストは、`wandb docker my/image/name:tag --digest` を実行すると取得できます
`WANDB_ENTITY`	あなたのrunに関連付けられたentityです。トレーニングスクリプトのディレクトリで `wandb init` を実行すると、wandb という名前のディレクトリが作成され、ソース管理にチェックインできるデフォルトのentityが保存されます。そのファイルを作成したくない場合や、そのファイルを上書きしたい場合は、環境変数を使用できます。
`WANDB_ERROR_REPORTING`	wandb が致命的なエラーをエラー追跡システムにログしないようにするには、これを false に設定します。
`WANDB_HOST`	システムで提供されるホスト名を使用したくない場合は、wandb インターフェースに表示したいホスト名をこれに設定します。
`WANDB_IGNORE_GLOBS`	無視するファイルグロブのカンマ区切りリストをこれに設定します。これらのファイルはクラウドに Sync されません。
`WANDB_JOB_NAME`	`wandb` で作成されるジョブ名を指定します。
`WANDB_JOB_TYPE`	異なるタイプのrunを示すために、“training” や “evaluation” などのジョブタイプを指定します。詳しくは grouping を参照してください。
`WANDB_MODE`	これを “offline” に設定すると、wandb は run のメタデータをローカルに保存し、サーバーとは Sync しません。これを `disabled` に設定すると、wandb は完全に無効化されます。
`WANDB_NAME`	run の人が読みやすい名です。設定しない場合は、自動的にランダム生成されます
`WANDB_NOTEBOOK_NAME`	Jupyter で実行している場合は、この変数でノートブックの名を設定できます。これは自動検出されるようになっています。
`WANDB_NOTES`	run に関する詳細なメモです。Markdown を使用でき、後から UI 上で編集することもできます。
`WANDB_PROJECT`	あなたのrunに紐づくプロジェクトです。`wandb init`でも設定できますが、環境変数を設定するとその値が優先されます。
`WANDB_RESUME`	デフォルトでは never に設定されています。auto に設定すると、wandb は失敗した run を自動的に再開します。must に設定すると、起動時にその run が存在している必要があります。独自の一意の ID を常に生成したい場合は、これを allow に設定し、`WANDB_RUN_ID` も必ず設定してください。
`WANDB_RUN_GROUP`	run を自動的に同じグループにまとめるための実験名を指定します。詳細は grouping を参照してください。
`WANDB_RUN_ID`	これを、スクリプトの 1 回の実行に対応するグローバルに一意な文字列 (プロジェクトごと) に設定します。64 文字以内である必要があります。単語文字以外の文字はすべてダッシュに変換されます。障害発生時に既存の run を再開するために使用できます。
`WANDB_QUIET`	これを `true` に設定すると、標準出力に出力されるメッセージは重大なもののみに制限されます。この設定を有効にすると、すべてのログは `$WANDB_DIR/debug.log` に書き込まれます。
`WANDB_SILENT`	これを `true` に設定すると、wandb のログ出力を無効にします。これはスクリプトで実行するコマンドで役立ちます。これを設定すると、すべてのログは `$WANDB_DIR/debug.log` に書き込まれます。
`WANDB_SHOW_RUN`	お使いのオペレーティングシステムが対応している場合、これを `true` に設定すると、run URL がブラウザーで自動的に開きます。
`WANDB_SWEEP_ID`	sweep ID のトラッキングを `Run` オブジェクトと関連クラスに追加し、UI に表示します。
`WANDB_TAGS`	run に適用するタグのカンマ区切りリスト。
`WANDB_USERNAME`	run に関連付けられた、チームメンバーのユーザー名。サービスアカウントのAPIキーとあわせて使用すると、自動化された run の実行者としてチームメンバーを割り当てられます。
`WANDB_USER_EMAIL`	run に関連付けられた、チームメンバーのメールアドレス。サービスアカウントのAPIキーとあわせて使用すると、自動化された run の実行者としてチームメンバーを割り当てられます。

Singularity 環境

Singularity でコンテナーを実行している場合は、上記の変数名の先頭に SINGULARITYENV_ を付けることで、環境変数を渡せます。Singularity の環境変数の詳細は、こちらを参照してください。

AWS で実行する

AWS でバッチジョブを実行している場合は、W&B の認証情報を使ってマシンを簡単に認証できます。User Settings で APIキーを作成し、AWS Batch ジョブ仕様で WANDB_API_KEY 環境変数を設定します。

​任意の環境変数

​Singularity 環境

​AWS で実行する

任意の環境変数

Singularity 環境

AWS で実行する