メインコンテンツまでスキップ

ストレージ

Weights & Biasesは、デフォルトでアーティファクトファイルをアメリカ合衆国にあるプライベートなGoogleクラウドストレージバケットに保存します。すべてのファイルは、保存時および転送時に暗号化されています。

機密ファイルの場合は、プライベートホスティングを設定するか、参照アーティファクトを使用することをお勧めします。

トレーニング中、Weights & Biasesはローカルのログ、アーティファクト、設定ファイルを以下のローカルディレクトリに保存します。

ファイルデフォルトの場所デフォルトの場所を変更するには以下を設定:
logs./wandbwandb.initdirを設定するか、WANDB_DIR環境変数を設定します
artifacts~/.cache/wandbWANDB_CACHE_DIR環境変数を設定します
configs~/.config/wandbWANDB_CONFIG_DIR環境変数を設定します

:::注意 wandbが初期化されたマシンによっては、これらのデフォルトフォルダがファイルシステムの書き込み可能な部分に位置していない場合があります。これによってエラーが発生する可能性があります。 :::

ローカルアーティファクトキャッシュのクリーンアップ

Weights & Biases は、アーティファクトファイルをキャッシュして、共通のファイルを持つバージョン間のダウンロードを高速化します。時間とともにこのキャッシュディレクトリは大きくなることがあります。最近使用されていないファイルを削除してキャッシュを整理するには、wandb artifact cache cleanup コマンドを実行してください。

次のコードスニペットでは、キャッシュのサイズを 1GB に制限する方法を示しています。コードスニペットをコピーしてターミナルに貼り付けてください。

$ wandb artifact cache cleanup 1GB

各アーティファクトのバージョンはどれくらいのストレージを使用するのか?

2つのアーティファクトのバージョン間で変更されるファイルだけが、ストレージコストに影響します。

アーティファクト "dataset" の v1 は、5つの画像のうち2つが異なるため、使用スペースは40%になります。

例えば、animals という名前の画像アーティファクトを作成し、その中に cat.png と dog.png の2つの画像ファイルが含まれているとします: 以下のMarkdownテキストを和訳してください。和訳したテキストだけを返して、それ以外のことは言わないでください。テキスト:

images
|-- cat.png (2MB) # `v0`で追加されました
|-- dog.png (1MB) # `v0`で追加されました

このアーティファクトは自動的にバージョンv0が割り当てられます。 新しい画像rat.pngをアーティファクトに追加すると、新しいアーティファクトバージョンが作成され、v1になり、次の内容が表示されます。

images
|-- cat.png (2MB) # `v0`で追加されました
|-- dog.png (1MB) # `v0`で追加されました
|-- rat.png (3MB) # `v1`で追加されました

v1は合計6MBのファイルをトラッキングしていますが、v0と共有されている残りの3MB分のため、実際には3MBのスペースしか使用していません。v1を削除すると、rat.pngに関連付けられた3MBのストレージが回収されます。v0を削除すると、v1cat.pngdog.pngのストレージコストを引き継ぎ、ストレージサイズが6MBになります。

Was this page helpful?👍👎