Metaflow

Overview

Metaflowは、MLワークフローを作成および実行するためにNetflixによって作成されたフレームワークです。

このインテグレーションにより、ユーザーはMetaflowのステップとフローにデコレータを適用して、パラメータとArtifactsをW&Bに自動的にログすることができます。

• ステップにデコレートすると、そのステップ内の特定の型のログを有効または無効にできます。
• フローにデコレートすると、フロー内のすべてのステップのログを有効または無効にできます。

クイックスタート

W&Bをインストールしてログインする

Notebook

!pip install -Uqqq metaflow fastcore wandb

import wandb
wandb.login()

Command Line

pip install -Uqqq metaflow fastcore wandb
wandb login

フローとステップをデコレートする

Step

ステップをデコレートすると、そのステップ内の特定の型のログを有効または無効にできます。

この例では、start内のすべてのDatasetsとModelsがログされます。

from wandb.integration.metaflow import wandb_log

class WandbExampleFlow(FlowSpec):
    @wandb_log(datasets=True, models=True, settings=wandb.Settings(...))
    @step
    def start(self):
        self.raw_df = pd.read_csv(...).    # pd.DataFrame -> データセットとしてアップロード
        self.model_file = torch.load(...)  # nn.Module    -> モデルとしてアップロード
        self.next(self.transform)

Flow

フローをデコレートすることは、すべての構成ステップをデフォルトでデコレートすることと同等です。

この場合、WandbExampleFlow内のすべてのステップはデフォルトでDatasetsとModelsをログします -- 各ステップを@wandb_log(datasets=True, models=True)でデコレートするのと同じです。

from wandb.integration.metaflow import wandb_log

@wandb_log(datasets=True, models=True)  # すべての@stepをデコレートする
class WandbExampleFlow(FlowSpec):
    @step
    def start(self):
        self.raw_df = pd.read_csv(...).    # pd.DataFrame -> データセットとしてアップロード
        self.model_file = torch.load(...)  # nn.Module    -> モデルとしてアップロード
        self.next(self.transform)

Flow and Steps

フローをデコレートすることは、すべてのステップをデフォルトでデコレートすることと同等です。つまり、後でステップを別の@wandb_logでデコレートすると、フローレベルのデコレーションが上書きされます。

以下の例では：

• startとmidはDatasetsとModelsをログしますが、
• endはDatasetsもModelsもログしません。

from wandb.integration.metaflow import wandb_log

@wandb_log(datasets=True, models=True)  # startとmidをデコレートするのと同じ
class WandbExampleFlow(FlowSpec):
  # このステップはDatasetsとModelsをログします
  @step
  def start(self):
    self.raw_df = pd.read_csv(...).    # pd.DataFrame -> データセットとしてアップロード
    self.model_file = torch.load(...)  # nn.Module    -> モデルとしてアップロード
    self.next(self.mid)

  # このステップもDatasetsとModelsをログします
  @step
  def mid(self):
    self.raw_df = pd.read_csv(...).    # pd.DataFrame -> データセットとしてアップロード
    self.model_file = torch.load(...)  # nn.Module    -> モデルとしてアップロード
    self.next(self.end)

  # このステップは上書きされ、DatasetsやModelsはログされません
  @wandb_log(datasets=False, models=False)
  @step
  def end(self):
    self.raw_df = pd.read_csv(...).    
    self.model_file = torch.load(...)

データはどこにありますか？プログラムでアクセスできますか？

キャプチャした情報には、元のPythonプロセス内でwandbクライアントライブラリを使用して、webアプリUIを介して、または公開APIを使用してプログラムでアクセスできます。パラメータはW&Bのconfigに保存され、Overviewタブで見つけることができます。datasets、models、およびその他のものはW&B Artifactsに保存され、Artifactsタブで見つけることができます。基本的なPythonタイプはW&Bのsummary辞書に保存され、Overviewタブで見つけることができます。APIを使用してこの情報を外部からプログラムで取得する方法については、公開APIガイドをご覧ください。

チートシートはこちらです：

データ	クライアントライブラリ	UI
Parameter(...)	wandb.config	Overviewタブ, Config
datasets, models, others	wandb.use_artifact("{var_name}:latest")	Artifactsタブ
基本的なPythonタイプ (dict, list, str など)	wandb.summary	Overviewタブ, Summary

wandb_logのキーワード引数 (kwargs)

kwarg	オプション
datasets	True: データセットであるインスタンス変数をログする False
models	True: モデルであるインスタンス変数をログする False
others	True: その他のシリアライズ可能なものをpickleとしてログする False
settings	wandb.Settings(...): このステップまたはフローのために独自のwandb設定を指定する None: wandb.Settings()を渡すのと同等 デフォルトでは次のようになります: settings.run_groupがNoneの場合、{flow_name}/{run_id}に設定されます settings.run_job_typeがNoneの場合、{run_job_type}/{step_name}に設定されます

よくある質問

具体的にどのようなログを取りますか？すべてのインスタンス変数とローカル変数をログしますか？

wandb_logはインスタンス変数のみをログします。ローカル変数は絶対にログされません。これは不要なデータをログしないようにするために役立ちます。

どのデータ型をログしますか？

現在サポートしている型は以下の通りです：

ログ設定	タイプ
デフォルト（常にオン）	dict, list, set, str, int, float, bool
datasets	pd.DataFrame pathlib.Path
models	nn.Module sklearn.base.BaseEstimator
others	pickle可能でJSONシリアライズ可能なもの

ログの振る舞いの例

変数の種類	振る舞い	例	データ型
インスタンス	自動ログ	self.accuracy	float
インスタンス	datasets=Trueの場合にログ	self.df	pd.DataFrame
インスタンス	datasets=Falseの場合にログしない	self.df	pd.DataFrame
ローカル	ログしない	accuracy	float
ローカル	ログしない	df	pd.DataFrame

これはアーティファクトのリネージを追跡しますか？

はい！ステップAの出力でありステップBの入力であるアーティファクトがある場合、自動的にリネージDAGを構築します。

この振る舞いの例については、このノートブックとそれに対応するW&B Artifactsページをご覧ください。