ハイパーパラメーター重要度パネルの作成
- W&B プロジェクトに移動します。
- Add panels ボタンを選択します。
- CHARTS ドロップダウンを展開し、ドロップダウンから Parallel coordinates を選択します。
空のパネルが表示される場合、run がグループ化されていないことを確認してください
ハイパーパラメーター重要度パネルの解釈
val_loss）との相関を示します。
重要度
重要度列は、選択したメトリクスを予測する際に、各ハイパーパラメーターがどの程度役立ったかを示します。多数のハイパーパラメーターを調整し始めて、それらの中からさらなる探索の価値があるものを特定するためにこのプロットを使用するシナリオを想像してみてください。その後の Sweeps は、最も重要なハイパーパラメーターに限定し、より良いモデルをより速く、安価に見つけることができます。W&Bは、木構造モデルを使用して重要度を計算します。木構造モデルは、線形モデルと比べてカテゴリカルデータや正規化されていないデータに対してより寛容です。
epochs, learning_rate, batch_size と weight_decay がかなり重要であることがわかります。
相関
相関は、個々のハイパーパラメーターとメトリクスの値との間の線形関係を捉えます。これにより、SGDオプティマイザーなどのハイパーパラメーターの使用とval_loss 間に有意な関係があるかどうかという問題に答えます（この場合、答えは「はい」です）。相関値は-1から1の範囲であり、正の値は正の線形相関を、負の値は負の線形相関を示し、0の値は相関がないことを示します。一般的に、どちらの方向でも0.7を超える値は強い相関を示します。
このグラフを使用して、メトリクスと高い相関のある値（この場合は確率的勾配降下法やadamを選択し、rmspropやnadamよりも優先することがあります）をさらに調査したり、より多くのエポックでトレーニングしたりすることができます。
- 相関は関連の証拠を示しますが、必ずしも因果関係を示すわけではありません。
- 相関は外れ値に敏感であり、特に試されたハイパーパラメーターのサンプルサイズが小さい場合は、強い関係を中程度のものに変える可能性があります。
- 最後に、相関はハイパーパラメーターとメトリクス間の線形関係のみを捉えます。強い多項式関係がある場合、相関ではそれを捉えられません。