Useful resources
Academic papers
Li, Lisha, et al. "Hyperband: A novel bandit-based approach to hyperparameter optimization." The Journal of Machine Learning Research 18.1 (2017): 6765-6816.
Sweep Experiments
以下の W&B Reports は、W&B Sweeps を使用したハイパーパラメータ最適化を探索するプロジェクトの例を示しています。
- Drought Watch Benchmark Progress
- 説明: ベースラインの開発とDrought Watchベンチマークへの提出物の探索。
- Tuning Safety Penalties in Reinforcement Learning
- 説明: パターン作成、パターン削除、およびナビゲーションの3つの異なるタスクで副作用のペナルティをトレーニングしたエージェントを調査。
- Meaning and Noise in Hyperparameter Search with W&B Stacey Svetlichnaya
- 説明: どのようにしてシグナルとパレイドリア（架空のパターン）を区別するか。この記事はW&Bで何が可能かを示し、さらなる探求を奨励することを目的としています。
- Who is Them? Text Disambiguation with Transformers
- 説明: Hugging Face を使用して自然言語理解のためのモデルを探索。
- DeepChem: Molecular Solubility
- 説明: ランダムフォレストとディープネットを用いて分子構造から化学的特性を予測。
- Intro to MLOps: Hyperparameter Tuning
- 説明: ハイパーパラメータ最適化が重要な理由を探り、機械学習モデルのハイパーパラメータチューニングを自動化するための3つのアルゴリズムを検討。
self-managed
次のHow-toガイドは、W&Bを使用して実際の問題を解決する方法を示しています。
- Sweeps with XGBoost
- 説明: XGBoost を使用したハイパーパラメータチューニングに W&B Sweeps を使用する方法。
Sweep GitHub repository
W&B はオープンソースを推奨し、コミュニティからの貢献を歓迎しています。GitHub リポジトリは https://github.com/wandb/sweeps で見つけることができます。W&B オープンソースリポジトリへの貢献方法については、W&B GitHub の Contribution guidelines を参照してください。