LightGBM

W&B でツリーをトラッキングする。

wandb ライブラリには、LightGBM 用の特別なコールバックが含まれています。また、Weights & Biases の一般的なログ機能を使用して、大規模な実験やハイパーパラメータ探索を追跡することも簡単です。

from wandb.integration.lightgbm import wandb_callback, log_summary
import lightgbm as lgb

# メトリクスを W&B にログ
gbm = lgb.train(..., callbacks=[wandb_callback()])

# 特徴量のインポータンスプロットをログし、モデルのチェックポイントを W&B にアップロード
log_summary(gbm, save_model_checkpoint=True)

ハイパーパラメーターの調整と Sweeps

モデルから最大のパフォーマンスを引き出すには、ツリーの深さや学習率のようなハイパーパラメーターを調整する必要があります。Weights & Biases は、大規模なハイパーパラメータのテスト実験を設定、調整、分析するための強力なツールキットである Sweepsを含んでいます。

これらのツールについて学び、XGBoost で Sweeps を使用する方法の例を確認するには、この対話型 Colab ノートブックをチェックしてください。

要約: この分類データセットでツリーは線形学習者を上回る。