spaCy - Weights & Biases Documentation

spaCy は、高速で高精度なモデルを提供する NLP ライブラリです。spaCy v3 以降では、W&B を spacy train と併用して、spaCy モデルのトレーニングメトリクスを追跡し、モデルとデータセットを保存およびバージョン管理できます。必要なのは、設定に数行追加するだけです。 spaCy を使用している場合、このページでは、W&B を使用してトレーニング Runs をモニターし、Experiments を比較し、spacy train で生成されたモデルとデータセットをバージョン管理する方法を説明します。 API キーはあなたのマシンを W&B に対して認証します。API キーはユーザープロフィールから作成できます。

より手早く行うには、User Settings にアクセスしてAPIキーを作成してください。APIキーはすぐにコピーし、パスワードマネージャーなどの安全な場所に保存してください。

画面右上のユーザープロフィールアイコンをクリックします。
User Settings を選択し、API Keys セクションまでスクロールします。

`wandb` ライブラリをインストールしてログインする

ローカル環境で wandb ライブラリをインストールし、ログインするには、次の手順を実行します。

Command Line
Python
Python notebook

WANDB_API_KEY 環境変数を自分の APIキーに設定します。<> で囲まれた値はご自身の値に置き換えてください。
export WANDB_API_KEY=<your_api_key>
wandb ライブラリをインストールしてログインします。
pip install wandb wandb login

pip install wandb

import wandb
wandb.login()

!pip install wandb

import wandb
wandb.login()

spaCy の設定ファイルに `WandbLogger` を追加する

spaCy の設定ファイルでは、ログだけでなく、トレーニングに関するあらゆる項目 (GPU の割り当て、オプティマイザーの選択、データセットのパスなど) を指定します。最低限、[training.logger] の下で、キー @loggers に値 "spacy.WandbLogger.v3" を指定し、さらに project_name も指定する必要があります。

spaCy のトレーニング設定ファイルの仕組みや、トレーニングをカスタマイズするために指定できるその他のオプションについて詳しくは、spaCy のドキュメントを参照してください。

[training.logger]
@loggers = "spacy.WandbLogger.v3"
project_name = "my_spacy_project"
remove_config_values = ["paths.train", "paths.dev", "corpora.train.path", "corpora.dev.path"]
log_dataset_dir = "./corpus"
model_log_interval = 1000

次の表では、WandbLogger の設定オプションについて説明します。

名	説明
`project_name`	`str`。W&B project の名です。W&B は、project がまだ存在しない場合は自動的に作成します。
`remove_config_values`	`List[str]`。W&B がアップロードする前に、設定から除外する値のリストです。デフォルトは `[]` です。
`model_log_interval`	`Optional int`。デフォルトは `None` です。設定すると、モデルのバージョン管理がアーティファクトで有効になります。モデルチェックポイントをログする間隔として、待機するステップ数を指定します。
`log_dataset_dir`	`Optional str`。パスを指定すると、W&B はトレーニング開始時にデータセットをアーティファクトとしてアップロードします。デフォルトは `None` です。
`entity`	`Optional str`。指定した場合、W&B は指定した entity に run を作成します。
`run_name`	`Optional str`。指定した場合、W&B は指定した名で run を作成します。

トレーニングを開始する

spaCy のトレーニング設定に WandbLogger を追加すると、通常どおり spacy train を実行でき、W&B が run を自動的に取得します。

コマンドライン
Python
Python notebook

python -m spacy train \
    config.cfg \
    --output ./output \
    --paths.train ./train \
    --paths.dev ./dev

python -m spacy train \
    config.cfg \
    --output ./output \
    --paths.train ./train \
    --paths.dev ./dev

!python -m spacy train \
    config.cfg \
    --output ./output \
    --paths.train ./train \
    --paths.dev ./dev

トレーニングが始まると、トレーニング run の W&Bページへのリンクが出力されます。このリンクを開くと、W&B Web UI のこの run の実験管理ダッシュボードに移動できます。

​サインアップして API キーを作成する

​wandb ライブラリをインストールしてログインする

​spaCy の設定ファイルに WandbLogger を追加する

​トレーニングを開始する

サインアップして API キーを作成する

`wandb` ライブラリをインストールしてログインする

spaCy の設定ファイルに `WandbLogger` を追加する

トレーニングを開始する