Hugging Faceトランスフォーマー

Hugging Faceトランスフォーマーライブラリは、BERTのような最先端のNLPモデルや、混合精度演算や勾配チェックポイントのようなトレーニング手法を簡単に利用できるようにしています。W&Bインテグレーションは、使いやすさを損なうことなく、インタラクティブな中央集約ダッシュボードに豊富で柔軟な実験トラッキングとモデルバージョン管理を追加します。

🤗 2行で次世代のログ作成

from transformers import TrainingArguments, Trainer

args = TrainingArguments(... , report_to="wandb")
trainer = Trainer(... , args=args)

W&Bのインタラクティブダッシュボードで実験結果を探索

このガイドで解説する内容

W&BとHugging Face トランスフォーマーを組み合わせて、NLP の実験を追跡する方法基本的な使い方
W&B Hugging Face 統合の高度な機能を利用する方法 を詳しく紹介し、実験のトラッキングを最大限に活用する方法。

備考

すぐに実際のコードを試してみたい場合は、このGoogle Colabをチェックしてください。

はじめに：実験の追跡

1) サインアップし、`wandb` ライブラリをインストールしてログインする

a) サインアップして無料アカウントを取得 b) wandbライブラリをpipでインストール

c) トレーニングスクリプトでログインするには、www.wandb.aiでアカウントにサインインする必要があり、その後、 Authorize page でAPIキーを見つけることができます。

Weights and Biasesを初めて使う場合は、クイックスタート をチェックしてみてください。

コマンドライン
ノートブック

pip install wandb

wandb login

!pip install wandb

import wandb
wandb.login()

2) プロジェクトの名前を付ける

プロジェクトは、関連するrunsから記録されたすべてのチャート、データ、モデルが格納される場所です。プロジェクトに名前を付けることで、作業を整理し、1つのプロジェクトに関するすべての情報を1か所に保管できます。

runをプロジェクトに追加するには、WANDB_PROJECT 環境変数にプロジェクト名を設定するだけです。WandbCallback は、このプロジェクト名の環境変数を取得し、runの設定時に使用します。

Command Line
Notebook

WANDB_PROJECT=amazon_sentiment_analysis

%env WANDB_PROJECT=amazon_sentiment_analysis

備考

Trainerを初期化する前に、プロジェクト名を設定してください。

プロジェクト名が指定されていない場合、デフォルトで "huggingface" になります。

3) W&Bにトレーニングのrunをログする

これが最も重要なステップです：Trainer のトレーニング引数を定義する際、コード内やコマンドラインから、Weights & Biases でのログを有効にするために report_to を "wandb" に設定します。

また、run_name引数を使用してトレーニングrunに名前を付けることもできます。

備考

TensorFlowを使用していますか？ PyTorchのTrainer を TensorFlow の TFTrainerに置き換えるだけです。

これで完了です！これで、モデルはトレーニング中に損失、評価メトリクス、モデルトポロジー、勾配をWeights & Biasesにログするようになります。

Command Line
Notebook

python run_glue.py \     # Pythonスクリプトを実行
  --report_to wandb \    # W&Bへのログを有効にする
  --run_name bert-base-high-lr \   # W&Bのrunの名前（オプション）
  # 他のコマンドライン引数はここに

from transformers import TrainingArguments, Trainer

args = TrainingArguments(
    # 他の引数とkwargsはここに
    report_to="wandb",  # W&Bへのログ記録を有効化
    run_name="bert-base-high-lr"  # W&B runの名前（オプション）
)

trainer = Trainer(
    # 他の引数とkwargsはここに
    args=args,  # トレーニング引数
)

trainer.train()  # トレーニングを開始し、W&Bへログを記録

（ノートブックのみ）W&B Runを終了する

もしトレーニングがPythonスクリプトにカプセル化されている場合、スクリプトが終了するとW&B runも終了します。

JupyterまたはGoogle Colabノートブックを使用している場合は、トレーニングが終了したことをwandb.finish()を呼び出すことで伝える必要があります。

trainer.train()  # W&Bにトレーニングとログ記録を開始する
# トレーニング後の分析、テスト、その他のログコード

wandb.finish()

4) 結果を可視化する

トレーニング結果をログに記録したら、W&Bダッシュボードで結果を動的に探索できます。複数のrunを一度に比較しやすく、興味深い発見をズームインし、柔軟でインタラクティブな可視化で複雑なデータから洞察を引き出すことが容易です。

高度な機能

モデルバージョン管理を有効にする

Weights & Biases のアーティファクトを使用すると、最大100GBのモデルやデータセットを格納できます。Hugging Face モデルを W&B アーティファクトにログするには、WANDB_LOG_MODEL という名前の W&B 環境変数を 'end' または 'checkpoint' のいずれかに設定します。 'end' は最終モデルのみをログし、'checkpoint' は save_steps ごとにモデルのチェックポイントをログします（TrainingArguments内）。

コマンドライン
ノートブック

WANDB_LOG_MODEL='end'

%env WANDB_LOG_MODEL='end'

備考

デフォルトでは、WANDB_LOG_MODELがendに設定されている場合、モデルはW&B Artifactsにmodel-{run_id}として保存されます。WANDB_LOG_MODELがcheckpointに設定されている場合は、checkpoint-{run_id}として保存されます。ただし、TrainingArgumentsでrun_nameを渡すと、モデルはmodel-{run_name}またはcheckpoint-{run_name}として保存されます。

これで、これから初期化するすべてのTrainerはモデルをW&Bプロジェクトにアップロードします。モデルファイルはW&B Artifacts UIで表示できます。モデルとデータセットのバージョン管理に関しては、Weights & Biases' Artifactsガイドを参照してください。

最良のモデルをどのように保存しますか？

load_best_model_at_end=TrueがTrainerに渡された場合、W&Bは最もパフォーマンスの良いモデルをArtifactsに保存します。

保存されたモデルの読み込み

WANDB_LOG_MODELでW&B Artifactsにモデルを保存した場合は、追加のトレーニングや推論の実行のためにモデルの重みをダウンロードできます。以前使用したHugging Faceアーキテクチャーに戻して読み込むだけです。

# 新しいrunを作成します
with wandb.init(project="amazon_sentiment_analysis") as run:
# runにアーティファクトを接続する
  my_model_name = "model-bert-base-high-lr:latest"
  my_model_artifact = run.use_artifact(my_model_name)

  # モデルの重みをフォルダにダウンロードし、パスを返す
  model_dir = my_model_artifact.download()

  # そのフォルダからHugging Faceトランスフォーマーを読み込む
  #  同じモデルクラスを使用する
  model = AutoModelForSequenceClassification.from_pretrained(
      model_dir, num_labels=num_labels)

  # 追加のトレーニングを行うか、推論を実行する

チェックポイントからのトレーニング再開

WANDB_LOG_MODEL='checkpoint' を設定していた場合、model_dir を TrainingArguments の model_name_or_path 引数に使用し、resume_from_checkpoint=True を Trainer に渡すことで、トレーニングを再開することもできます。

last_run_id = "xxxxxxxx"  # wandbワークスペースからrun_idを取得

# run_idからwandb runを再開
with wandb.init(
    project=os.environ["WANDB_PROJECT"],
    id=last_run_id,
    resume="must",) as run:
    
  # runにアーティファクトを接続する
  my_checkpoint_name = f"checkpoint-{last_run_id}:latest"
  my_checkpoint_artifact = run.use_artifact(my_model_name)

# フォルダにチェックポイントをダウンロードし、パスを返す
  checkpoint_dir = my_checkpoint_artifact.download()
  
  ＃モデルとトレーナーを再初期化
  model = AutoModelForSequenceClassification.from_pretrained(
      <model_name>, num_labels=num_labels)
  
  ＃素晴らしいトレーニング引数がここにあります。
  training_args = TrainingArguments(...) 
  
  trainer = Trainer(
      model=model,
      args=training_args,
      ...)
  
  ＃チェックポイントからトレーニングを再開するため、チェックポイントディレクトリを使用してください
  trainer.train(resume_from_checkpoint=checkpoint_dir) 

追加のW&B設定

Trainerでログした内容をさらに設定することができます。ここでW&B環境変数の全リストを見ることができます。

環境変数	使用法
`WANDB_PROJECT`	プロジェクトに名前を付ける（デフォルトでは`huggingface`）
`WANDB_LOG_MODEL`	トレーニング終了時にモデルをアーティファクトとしてログする（デフォルトでは`false`）
`WANDB_WATCH`	モデルの勾配、パラメータ、またはどちらもログしたいかどうか設定します。 `false`（デフォルト）：勾配もパラメータもログしない `gradients`：勾配のヒストグラムをログする `all`：勾配とパラメータのヒストグラムをログする
`WANDB_DISABLED`	ログを完全に無効にするには、`true`に設定する（デフォルトは`false`）
`WANDB_SILENT`	wandbによって出力される出力を無音にするには、`true`に設定する（デフォルトは`false`）

コマンドライン
ノートブック

WANDB_WATCH=all
WANDB_SILENT=true

%env WANDB_WATCH=all
%env WANDB_SILENT=true

`wandb.init` をカスタマイズする

Trainerが使っているWandbCallbackは、Trainerが初期化されたときにwandb.initを呼び出します。代わりに、Trainerが初期化される前にwandb.initを呼び出して、runを手動で設定することもできます。これにより、W&B run設定を完全にコントロールすることができます。

initに渡す例を下記に示します。wandb.initの使い方の詳細は、リファレンスドキュメントをご覧ください。

wandb.init(project="amazon_sentiment_analysis",
           name="bert-base-high-lr",
           tags=["baseline", "high-lr"],
           group="bert")

カスタムログ

Weights & Biasesへのログは、TransformersのTrainer によって、Transformersライブラリ内のWandbCallback(参考資料)で処理されます。Hugging Faceのログをカスタマイズする必要がある場合は、このコールバックを変更してください。

問題点、質問、機能のリクエスト

Hugging FaceのW&Bインテグレーションに関する問題、質問、機能のリクエストは、Hugging Faceフォーラムのこのスレッドで投稿するか、Hugging Face Transformers GitHubリポジトリでissueを立ててください。

Hugging Faceトランスフォーマー

🤗 2行で次世代のログ作成​

このガイドで解説する内容​

はじめに：実験の追跡​

1) サインアップし、wandb ライブラリをインストールしてログインする​

2) プロジェクトの名前を付ける​

3) W&Bにトレーニングのrunをログする​

（ノートブックのみ）W&B Runを終了する​

4) 結果を可視化する​

おすすめ記事​

高度な機能​

モデルバージョン管理を有効にする​

最良のモデルをどのように保存しますか？​

保存されたモデルの読み込み​

チェックポイントからのトレーニング再開​

追加のW&B設定​

wandb.init をカスタマイズする​

カスタムログ​

問題点、質問、機能のリクエスト​