Keras

Weights & Biasesを使用して、機械学習の実験管理、データセットバージョン管理、およびプロジェクトの協働を行います。

このColabノートブックでは、WandbMetricsLoggerコールバックを紹介します。このコールバックを使用して実験管理を行います。このコールバックは、トレーニングとバリデーションのメトリクス、システムメトリクスをWeights and Biasesにログします。

🌴 セットアップとインストール

まず、最新バージョンのWeights and Biasesをインストールします。その後、このColabインスタンスを認証してW&Bを使用します。

!pip install -qq -U wandb

import os
import tensorflow as tf
from tensorflow.keras import layers
from tensorflow.keras import models
import tensorflow_datasets as tfds

# Weights and Biasesに関連するインポート
import wandb
from wandb.integration.keras import WandbMetricsLogger

これが初めてのW&Bの使用であるか、ログインしていない場合、wandb.login()を実行した後に表示されるリンクはサインアップ/ログインページにリダイレクトされます。無料アカウントのサインアップは数回のクリックで簡単に行えます。

wandb.login()

🌳 ハイパーパラメーター

適切なコンフィグシステムの使用は、再現性のある機械学習における推奨ベストプラクティスです。W&Bを使用して、すべての実験のハイパーパラメーターを追跡できます。このColabでは、シンプルなPythonのdictをコンフィグシステムとして使用します。

configs = dict(
    num_classes = 10,
    shuffle_buffer = 1024,
    batch_size = 64,
    image_size = 28,
    image_channels = 1,
    earlystopping_patience = 3,
    learning_rate = 1e-3,
    epochs = 10
)

🍁 データセット

このColabでは、TensorFlowデータセットカタログからCIFAR100データセットを使用します。TensorFlow/Kerasを使用して簡単な画像分類パイプラインを構築することを目指します。

train_ds, valid_ds = tfds.load('fashion_mnist', split=['train', 'test'])

AUTOTUNE = tf.data.AUTOTUNE

def parse_data(example):
    # 画像を取得
    image = example["image"]
    # image = tf.image.convert_image_dtype(image, dtype=tf.float32)

    # ラベルを取得
    label = example["label"]
    label = tf.one_hot(label, depth=configs["num_classes"])

    return image, label

def get_dataloader(ds, configs, dataloader_type="train"):
    dataloader = ds.map(parse_data, num_parallel_calls=AUTOTUNE)

    if dataloader_type=="train":
        dataloader = dataloader.shuffle(configs["shuffle_buffer"])
      
    dataloader = (
        dataloader
        .batch(configs["batch_size"])
        .prefetch(AUTOTUNE)
    )

    return dataloader

trainloader = get_dataloader(train_ds, configs)
validloader = get_dataloader(valid_ds, configs, dataloader_type="valid")

🎄 モデル

def get_model(configs):
    backbone = tf.keras.applications.mobilenet_v2.MobileNetV2(weights='imagenet', include_top=False)
    backbone.trainable = False

    inputs = layers.Input(shape=(configs["image_size"], configs["image_size"], configs["image_channels"]))
    resize = layers.Resizing(32, 32)(inputs)
    neck = layers.Conv2D(3, (3,3), padding="same")(resize)
    preprocess_input = tf.keras.applications.mobilenet.preprocess_input(neck)
    x = backbone(preprocess_input)
    x = layers.GlobalAveragePooling2D()(x)
    outputs = layers.Dense(configs["num_classes"], activation="softmax")(x)

    return models.Model(inputs=inputs, outputs=outputs)

tf.keras.backend.clear_session()
model = get_model(configs)
model.summary()

🌿 モデルのコンパイル

model.compile(
    optimizer = "adam",
    loss = "categorical_crossentropy",
    metrics = ["accuracy", tf.keras.metrics.TopKCategoricalAccuracy(k=5, name='top@5_accuracy')]
)

🌻 トレーニング

# W&Bのrunを初期化
run = wandb.init(
    project = "intro-keras",
    config = configs
)

# モデルをトレーニング
model.fit(
    trainloader,
    epochs = configs["epochs"],
    validation_data = validloader,
    callbacks = [WandbMetricsLogger(log_freq=10)] # ここでWandbMetricsLoggerを使用していることに注意
)

# W&Bのrunを終了
run.finish()