Skip to main content
Hugging Face AutoTrain は、自然言語処理 (NLP) タスク、コンピュータビジョン (CV) タスク、スピーチ タスク、さらには表形式のタスクのための最先端モデルをトレーニングするノーコードツールです。 Weights & Biases は Hugging Face AutoTrain に直接インテグレーションされています。実験管理と設定管理を提供します。実験には CLI コマンド内の単一パラメータを使用するだけで簡単です。
実験のメトリクスをログする例

​
必要条件をインストールする

autotrain-advanced と wandb をインストールします。
  • Command Line
  • Notebook
pip install --upgrade autotrain-advanced wandb
これらの変更を示すために、このページでは数学データセット上での LLM の微調整を行い、GSM8k Benchmarks での pass@1 での最先端の結果を達成します。

​
データセットを準備する

Hugging Face AutoTrain は、独自の CSV データセットが適切に動作するために特定の形式を持つことを期待しています。
  • トレーニングファイルには、トレーニングで使用される text カラムが含まれている必要があります。最良の結果を得るために、text カラムのデータは ### Human: Question?### Assistant: Answer. 形式に準拠している必要があります。timdettmers/openassistant-guanaco に優れた例を確認してください。 しかし、MetaMathQA データセット には、query、response、type のカラムが含まれています。まず、このデータセットを前処理します。typeカラムを削除し、queryとresponseカラムの内容を ### Human: Query?### Assistant: Response. 形式で新しい text カラムに結合します。トレーニングは、結果のデータセット、rishiraj/guanaco-style-metamath を使用します。

​
autotrain を使用したトレーニング

コマンドラインまたはノートブックから autotrain の高度な機能を使用してトレーニングを開始できます。--log 引数を使用するか、--log wandb を使用して、W&B run に結果をログします。
  • Command Line
  • Notebook
autotrain llm \
    --train \
    --model HuggingFaceH4/zephyr-7b-alpha \
    --project-name zephyr-math \
    --log wandb \
    --data-path data/ \
    --text-column text \
    --lr 2e-5 \
    --batch-size 4 \
    --epochs 3 \
    --block-size 1024 \
    --warmup-ratio 0.03 \
    --lora-r 16 \
    --lora-alpha 32 \
    --lora-dropout 0.05 \
    --weight-decay 0.0 \
    --gradient-accumulation 4 \
    --logging_steps 10 \
    --fp16 \
    --use-peft \
    --use-int4 \
    --merge-adapter \
    --push-to-hub \
    --token <huggingface-token> \
    --repo-id <huggingface-repository-address>
実験の設定を保存する例。

​
追加のリソース