ストレージ
Weights & Biasesは、デフォルトでアーティファクトファイルをアメリカ合衆国にあるプライベートなGoogleクラウドストレージバケットに保存します。すべてのファイルは、保存時および転送時に暗号化されています。機密ファイルの場合は、プライベートホスティングを設定するか、参照アーティファクトを使用することをお勧めします。
トレーニング中、Weights & Biasesはローカルのログ、アーティファクト、設定ファイルを以下のローカルディレクトリに保存します。
ファイル | デフォルトの場所 | デフォルトの場所を変更するには以下を設定: |
---|---|---|
logs | ./wandb | wandb.init のdir を設定するか、WANDB_DIR 環境変数を設定します |
artifacts | ~/.cache/wandb | WANDB_CACHE_DIR 環境変数を設定します |
configs | ~/.config/wandb | WANDB_CONFIG_DIR 環境変数を設定します |
:::注意
wandb
が初期化されたマシンによっては、これらのデフォルトフォルダがファイルシステムの書き込み可能な部分に位置していない場合があります。これによってエラーが発生する可能性があります。
:::
ローカルアーティファクトキャッシュのクリーンアップ
Weights & Biases は、アーティファクトファイルをキャッシュして、共通のファイルを持つバージョン間のダウンロードを高速化します。時間とともにこのキャッシュディレクトリは大きくなることがあります。最近使用されていないファイルを削除してキャッシュを整理するには、wandb artifact cache cleanup
コマンドを実行してください。
次のコードスニペットでは、キャッシュのサイズを 1GB に制限する方法を示しています。コードスニペットをコピーしてターミナルに貼り付けてください。
$ wandb artifact cache cleanup 1GB
各アーティファクトのバージョンはどれくらいのストレージを使用するのか?
2つのアーティファクトのバージョン間で変更されるファイルだけが、ストレージコストに影響します。
例えば、animals
という名前の画像アーティファクトを作成し、その中に cat.png と dog.png の2つの画像ファイルが含まれているとします:
以下のMarkdownテキストを和訳してください。和訳したテキストだけを返して、それ以外のことは言わないでください。テキスト:
images
|-- cat.png (2MB) # `v0`で追加されました
|-- dog.png (1MB) # `v0`で追加されました
このアーティファクトは自動的にバージョンv0
が割り当てられます。
新しい画像rat.png
をアーティファクトに追加すると、新しいアーティファクトバージョンが作成され、v1
になり、次の内容が表示されます。
images
|-- cat.png (2MB) # `v0`で追加されました
|-- dog.png (1MB) # `v0`で追加されました
|-- rat.png (3MB) # `v1`で追加されました
v1
は合計6MBのファイルをトラッキングしていますが、v0
と共有されている残りの3MB分のため、実際には3MBのスペースしか使用していません。v1
を削除すると、rat.png
に関連付けられた3MBのストレージが回収されます。v0
を削除すると、v1
はcat.png
とdog.png
のストレージコストを引き継ぎ、ストレージサイズが6MBになります。