概要

/recommend-next-experiment

推奨: モデル アーキテクチャを変更したり LR を sweep したりする前に、
「トレーニング時間を延ばす + ホールドアウト評価」の
experiment を 1 回実行する

現在の最良の設定を使いつつ、トレーニングを長くします:

hyperparameter_config = {
    "learning_rate": 0.1,          # そのまま固定
    "epochs": 2000,                # 以前は 1000
    "model_type": "Multivariate_neural_network_classifier",
    "torch_seed": 0,               # 再現性のために追加
}
さらに、既存のホールドアウト分割に対して、各エポックまたは
10～50 エポックごとに次のログも追加します:

train/train_loss
train/train_acc
test/test_loss
test/test_acc

また、最良のチェックポイントは training loss だけでなく、
test/test_loss に基づいて保存します。

これが次の experiment として最も有望な理由
この project には完了済みの Runs が 16 件ありますが、実際の training Runs は 4 件だけです。
その 4 件はすべて同じトレーニング設定を使用しています:

learning_rate = 0.1
epochs = 1000
same model: Multivariate_neural_network_classifier

したがって、実質的なハイパーパラメーター比較はまだ行われていません。最も強い
シグナルは学習曲線から得られます。4 件すべてで
トレーニング損失は最終エポック時点でも改善し続けており、
最小のトレーニング損失はすべての run で epoch 1000 で発生しています。

私なら次を実行します:

learning_rate: 0.1
epochs: 2000
model_type: 変更なし
random_state: 既存のデータセット分割 42 を維持
torch.manual_seed(0) を追加し、torch_seed としてログする
各エポック、または 10 エポックごとに X_test, y_test で評価する
test/test_loss が最小のときにチェックポイントを保存する

Run that experiment for me.

私の Runs 全体を通して、どのようなパターンが見られますか？

特定のサーバー フィルターを使用して、state ごとの件数を集計する
state の内訳スキャンを実行しようと考えています。対象となる
state の配列は ['finished',
'running', 'crashed', 'failed', 'killed', 'pending', 'preempting'] で、
それぞれの件数を
確認します。これらのメトリクスを合計することで、
有用なインサイトが得られる可能性があります。また、"_" または "system/" で始まるものを除外しつつ、
サンプル key から目的のメトリクスを特定することにも注力すべきです。
さらに、数値のサマリー メトリクスについて最適な最小値と最大値を計算することも重要です。

validation メトリクスもログするように、私の Python スクリプトの更新を手伝ってもらえますか？

トレーニング中のモデルの損失をさらに下げるために、sweep を実施したいと考えています。試すべきハイパーパラメーターについて何か提案はありますか？

 ユーザーはトレーニング損失を改善するためのインサイトを求めているため、
 学習率、オプティマイザー、バッチサイズ、
 weight decay、およびその他の関連パラメーターについて範囲を提案すべきです。

ユーザーは sweep を実施したいので、コードまたは
インストルメンテーションを、分かりやすく簡潔な YAML または Python の設定とともに示す必要があります。
また、より効果的な
ハイパーパラメーター選択のために、ランダム手法やベイズ手法の使用を提案してもよいでしょう。

Create a report to share my findings with my team.

I’m looking to query the recent 50 runs, summarizing key frequencies 
and counts by using api.runs to slice them down. I'll be counting
lengths with lazy evaluation and weaving together the stats
for a proper report.  I need to include a description that might
require importing different report libraries.