Metaflow - Weights & Biases Documentation

概要

Metaflow は、ML ワークフローを作成して実行するために Netflix が開発したフレームワークです。このインテグレーションでは、Metaflow の steps and flows にデコレーターを適用することで、パラメーターと Artifacts を W&B に自動的にログし、カスタムのロギングコードを記述しなくても、Metaflow で構築したワークフロー全体で Experiments をトラッキングし、リネージを確認できるようになります。

ステップをデコレートすると、そのステップ内の特定のタイプに対してログするかどうかを切り替えられます。
フローをデコレートすると、そのフロー内のすべてのステップに対してログするかどうかを切り替えられます。

クイックスタート

以下のセクションでは、W&B で認証し、必要なライブラリをインストールして、Metaflow のステップとフローに wandb_log デコレータを追加する方法を説明します。 APIキーは、お使いのマシンをW&Bに認証するために使用します。APIキーはユーザープロフィールから発行できます。

より手早く行うには、User Settings にアクセスしてAPIキーを作成してください。APIキーはすぐにコピーし、パスワードマネージャーなどの安全な場所に保存してください。

W&B AppでAPIキーを確認するには:

右上にあるユーザープロフィールアイコンをクリックします。
User Settings を選択し、API Keys セクションまでスクロールします。

`wandb` ライブラリをインストールしてログインする

wandb ライブラリをローカルにインストールしてログインするには、次の手順を実行します。

wandb バージョン 0.19.8 以下では、plum-dispatch の代わりに fastcore バージョン 1.8.0 以下 (fastcore<1.8.0) をインストールしてください。

コマンドライン
Python
Python notebook

APIキーを WANDB_API_KEY 環境変数に設定します。<> で囲まれた値はご自身のものに置き換えてください。
export WANDB_API_KEY=<your_api_key>

wandb ライブラリをインストールしてログインします。

pip install -Uqqq metaflow "plum-dispatch<3.0.0" wandb

wandb login

pip install -Uqqq metaflow "plum-dispatch<3.0.0" wandb

import wandb
wandb.login()

!pip install -Uqqq metaflow "plum-dispatch<3.0.0" wandb

import wandb
wandb.login()

フローとステップをデコレートする

ステップ
フロー
フローとステップ

ステップをデコレートすると、そのステップ内の特定のタイプについてログをオンまたはオフにできます。この例では、インテグレーションが start 内のすべてのデータセットとモデルをログします。

from wandb.integration.metaflow import wandb_log

class WandbExampleFlow(FlowSpec):
    @wandb_log(datasets=True, models=True, settings=wandb.Settings(...))
    @step
    def start(self):
        self.raw_df = pd.read_csv(...)    # pd.DataFrame -> データセットとしてアップロード
        self.model_file = torch.load(...)  # nn.Module    -> モデルとしてアップロード
        self.next(self.transform)

フローをデコレートすることは、構成するすべてのステップをデフォルト設定でデコレートするのと同じです。この場合、WandbExampleFlow 内のすべてのステップでは、@wandb_log(datasets=True, models=True) で各ステップをデコレートした場合と同様に、データセットとモデルがデフォルトでログされます。

from wandb.integration.metaflow import wandb_log

@wandb_log(datasets=True, models=True)  # すべての @step をデコレート
class WandbExampleFlow(FlowSpec):
    @step
    def start(self):
        self.raw_df = pd.read_csv(...)    # pd.DataFrame -> データセットとしてアップロード
        self.model_file = torch.load(...)  # nn.Module    -> モデルとしてアップロード
        self.next(self.transform)

フローをデコレートすることは、すべてのステップをデフォルト設定でデコレートするのと同じです。つまり、後からステップを別の @wandb_log でデコレートすると、フローレベルのデコレーションが上書きされます。この例では、次のようになります。

start と mid は、データセットとモデルの両方をログします。
end は、データセットもモデルもログしません。

from wandb.integration.metaflow import wandb_log

@wandb_log(datasets=True, models=True)  # start と mid をデコレートするのと同じ
class WandbExampleFlow(FlowSpec):
  # このステップではデータセットとモデルをログします
  @step
  def start(self):
    self.raw_df = pd.read_csv(...)    # pd.DataFrame -> データセットとしてアップロード
    self.model_file = torch.load(...)  # nn.Module    -> モデルとしてアップロード
    self.next(self.mid)

  # このステップでもデータセットとモデルをログします
  @step
  def mid(self):
    self.raw_df = pd.read_csv(...)    # pd.DataFrame -> データセットとしてアップロード
    self.model_file = torch.load(...)  # nn.Module    -> モデルとしてアップロード
    self.next(self.end)

  # このステップでは設定が上書きされるため、データセットもモデルもログしません
  @wandb_log(datasets=False, models=False)
  @step
  def end(self):
    self.raw_df = pd.read_csv(...)    
    self.model_file = torch.load(...)

プログラムからデータにアクセスする

flows と steps をデコレートすると、フローが実行されるたびに、runs からパラメーターと artifacts が W&B に送信されます。記録された情報には、3 つの方法でアクセスできます。ログを記録している元の Python プロセス内で wandb クライアントライブラリを使用する方法、Web アプリの UI を使用する方法、または Public API を使用してプログラムからアクセスする方法です。Parameter は W&B の config に保存され、Overview タブで確認できます。datasets、models、others は W&B Artifacts に保存され、Artifacts タブで確認できます。基本的な Python の型は W&B の summary dict に保存され、Overview タブで確認できます。API を使用して外部からこの情報をプログラムで取得する方法の詳細については、Public API ガイドを参照してください。

クイックリファレンス

データ	クライアントライブラリ	UI
`Parameter(...)`	`wandb.Run.config`	Overview タブ、設定
`datasets`, `models`, `others`	`wandb.Run.use_artifact("{var_name}:latest")`	Artifacts タブ
基本的な Python の型 (`dict`, `list`, `str`, etc.)	`wandb.Run.summary`	Overview タブ、Summary

`wandb_log` kwargs

kwarg	Options
`datasets`	`True`: データセットであるインスタンス変数をログする `False`
`models`	`True`: モデルであるインスタンス変数をログする `False`
`others`	`True`: pickle としてシリアライズ可能なその他すべてのものをログする `False`
`settings`	`wandb.Settings(…)`: このステップまたはフロー用に独自の `wandb` 設定を指定します `None`: `wandb.Settings()` を渡すのと同じですデフォルトでは、以下の場合: `settings.run_group` が `None` の場合、`{flow_name}/{run_id}` に設定されます `settings.run_job_type` が `None` の場合、`{run_job_type}/{step_name}` に設定されます

よくある質問

以下のセクションでは、logging の動作、サポートされるデータタイプ、Artifacts のリネージに関するよくある質問にお答えします。

具体的に何がログされますか

wandb_log がログするのはインスタンス変数のみです。ローカル変数がログされることはありません。これにより、不要なデータがログされるのを防げます。

どのデータ型がログされますか

W&B は次のタイプをサポートしています。

Logging setting	Type
デフォルト (常にオン)	`dict, list, set, str, int, float, bool`
`datasets`	`pd.DataFrame` `pathlib.Path`
`models`	`nn.Module` `sklearn.base.BaseEstimator`
`others`	pickle 化可能で、JSON シリアライズ可能な任意のもの

ログする挙動を設定する

変数の種類	挙動	例	データ型
インスタンス	自動でログされる	`self.accuracy`	`float`
インスタンス	`datasets=True` の場合にログされる	`self.df`	`pd.DataFrame`
インスタンス	`datasets=False` の場合はログされない	`self.df`	`pd.DataFrame`
ローカル	ログされない	`accuracy`	`float`
ローカル	ログされない	`df`	`pd.DataFrame`

Artifactのリネージのトラッキング

ステップ Aの出力であり、ステップ Bの入力でもあるartifactがある場合、W&BはリネージDAGを自動的に構築します。この挙動の例については、このMetaflow integration example notebookと、対応するArtifacts pageを参照してください

​概要

​クイックスタート

​サインアップしてAPIキーを発行する

​wandb ライブラリをインストールしてログインする

​フローとステップをデコレートする

​プログラムからデータにアクセスする

​クイックリファレンス

​wandb_log kwargs

​よくある質問

​具体的に何がログされますか

​どのデータ型がログされますか

​ログする挙動を設定する

​Artifactのリネージのトラッキング

概要

クイックスタート

サインアップしてAPIキーを発行する

`wandb` ライブラリをインストールしてログインする

フローとステップをデコレートする

プログラムからデータにアクセスする

クイックリファレンス

`wandb_log` kwargs

よくある質問

具体的に何がログされますか

どのデータ型がログされますか

ログする挙動を設定する

Artifactのリネージのトラッキング