メインコンテンツへスキップ
このページでは、Transformer モデル トレーニングを可視化してトラッキングできるように、Weights & Biases (W&B) を Simple Transformers と統合する方法を説明します。最後まで読むと、Simple Transformers モデルで W&B のロギングを有効にする方法と、一般的な NLP タスクの例をどこで検索するかがわかります。 Simple Transformers は Hugging Face の Transformers ライブラリに基づいており、Transformer モデルをトレーニングして評価できます。モデルの初期化、トレーニング、評価に必要なコードはわずか 3 行です。sequence classification、token classification (NER)、質問応答、language model ファインチューニング、language model トレーニング、language generation、T5 model、Seq2Seq tasks、multi-modal classification、conversational AI をサポートしています。 モデル トレーニングの可視化に W&B を使用するには、args 辞書の wandb_project 属性に W&B のプロジェクト名を設定します。これにより、すべてのハイパーパラメーター値、トレーニング損失、評価メトリクスが指定したプロジェクトにログされます。
wandb.init() に渡す追加の引数は、wandb_kwargs として指定できます。

​
構成

以下のセクションでは、特定のタスクに対してどのモジュールをimportすればよいかがわかるように、Simple Transformers がどのようにクラスを構成しているかを説明します。このライブラリは、各NLPタスクごとに個別のクラスを持つよう設計されています。類似した機能を持つクラスは、同じグループにまとめられています。
  • simpletransformers.classification - すべての分類モデルが含まれます。
    • ClassificationModel
    • MultiLabelClassificationModel
  • simpletransformers.ner - すべての固有表現認識モデルが含まれます。
    • NERModel
  • simpletransformers.question_answering - すべての質問応答モデルが含まれます。
    • QuestionAnsweringModel
以下のセクションでは、一般的な2つのタスクについて最小限の例を示し、wandb_project argument を通じて W&B のロギング を有効にする方法を説明します。

​
マルチラベル分類

​
質問応答

​
グローバル引数

SimpleTransformers は、一般的な自然言語処理タスク向けのクラスに加え、トレーニングスクリプトも提供しています。以下に、ライブラリでサポートされているグローバル引数の完全な一覧と、それぞれのデフォルト値を示します。前述の W&B 固有のオプション以外でトレーニングの動作をカスタマイズしたい場合は、この一覧を参照してください。

​
追加リソース

より詳しいドキュメントについては、GitHub 上の simpletransformersを参照してください。 特に広く使われている GLUE ベンチマークのデータセットのいくつかで Transformer をトレーニングする方法を紹介した W&B report、Using simpleTransformer on common NLP applicationsもご覧ください。Colab でご自身でも試せます。