チームスコープおよび組織スコープのオートメーションと Automations ハブ は、W&B Multi-tenant Cloud および W&B 専用クラウド (Server v0.83.0 以降) で利用できます。
- run が失敗したとき (イベント) 、Slack チャンネルに通知する (アクション) 。
- artifact に
productionエイリアスが追加されたとき (イベント) 、デプロイをトリガーするために webhook を呼び出す (アクション) 。 - 新しいモデルバージョンが link されたとき (イベント) 、ARIA に prompt を送信して本番環境のものと比較する (アクション) 。
production が追加された (イベント) 場合に、webhook (アクション) を実行します。
オートメーションを作成できる場所
- Automations ハブ内: 左側のナビゲーションで Automations を選択すると、組織、チーム、project、Registry、コレクションのすべてのスコープでアクセスできるすべてのオートメーションを確認できます。オートメーションの作成時にスコープを選択します。Automations ハブを参照してください。
- project 内: project を開き、プロジェクトのサイドバーで Automations タブを選択します。
- Registry 内: Registry を開き、Automations タブを選択します。
Automations ハブ
- スコープのエントリポイントを事前に把握していなくても、オートメーションを作成し、そのスコープを選択できます。
- アクセス可能なすべてのオートメーションを1つのリストで表示し、フィルターや並べ替えを行えます (例: スコープ、トリガー、アクション別) 。
- オートメーションの名をクリックして、設定の詳細をすべて表示できます。
- オートメーションの実行履歴を表示し、成功したか失敗したかを確認できます。
- クイックフィルターを使用して、自分が作成したオートメーションと組織内のすべてのオートメーションを切り替えられます。
- 複数のオートメーションを選択し、一度に削除できます。
使用例
- run の監視とアラート: run が失敗したときや、メトリクスがしきい値を超えたとき (たとえば、損失が NaN になる、または精度が低下する場合) にチームに通知します。
- Registry CI/CD: 新しいモデル バージョンがリンクされたとき、または alias (
stagingやproductionなど) が追加されたときに、webhook をトリガーしてテストを実行したり、デプロイしたりします。 - project の artifact ワークフロー: 新しい artifact バージョンが作成されたとき、または project に alias が追加されたときに、後続のジョブを実行したり、Slack に投稿したりします。
- 自動分析: run が失敗したときや、新しいモデル バージョンがリンクされたときに、ARIA にプロンプトを送信して、失敗の原因を診断したり、新しいバージョンを本番環境のものと比較したりします。
オートメーションアクション
- Slack 通知: トリガーとなったイベントの詳細を含むメッセージを Slack チャンネルに送信します。メッセージにはイベントの概要と、W&B で詳細を確認するためのリンクが含まれます。
- Webhook: トリガーとなったイベントに関する情報を含む JSON ペイロードを使用して Webhook URL を呼び出します。Webhook を使用して、CI/CD パイプライン、モデル デプロイ サービス、カスタム ワークフローなどの外部システムと統合します。
- Trigger ARIA: ARIA にプロンプトを送信します。ARIA は新しい会話を開始し、ユーザーに代わってそのプロンプトに取り組みます。ARIA アクションを使用して、新しいモデル バージョンの分析、失敗した run の診断、しきい値を超えたメトリクスの調査などを行えます。W&B Multi-tenant Cloud でのみ利用できます。
オートメーションの動作
- 必要に応じて、アクセストークン、パスワード、機密性の高い設定の詳細など、オートメーションで必要になる機密文字列のためにシークレットを設定します。シークレットは Team Settings で定義します。シークレットは、主に webhook オートメーションで、認証情報やトークンを平文で公開したり webhook のペイロードにハードコードしたりすることなく、webhook の外部サービスに安全に渡すために使用されます。
- チームレベルの webhook または Slack インテグレーションを設定して、W&B が Slack に投稿したり、ユーザーに代わって webhook を実行したりできるようにします。1 つのオートメーションアクション (webhook または Slack 通知) を複数のオートメーションで使用できます。これらのアクションは Team Settings で定義します。ARIA アクションにはインテグレーションは不要です。
- project または Registry で、オートメーションを作成します。
- 監視するイベントを定義します。たとえば、新しい artifact バージョンが追加されたときです。
- イベント発生時に実行するアクション (Slack チャンネルへの投稿、webhook の実行、ARIA へのプロンプトの送信など) を定義します。webhook の場合は、必要に応じて、アクセストークンに使用するシークレットや、ペイロードとともに送信するシークレットを指定します。
推奨事項
- 小さく始める: 価値の高いイベント (たとえば、run の失敗や本番 alias の変更) に対する 1 ～ 2 個のオートメーションから始めます。さらに追加する前に、想定どおりに動作することを確認してください。
- 本番導入前にテストする: まずはテスト用の project、またはテスト用の webhook や Slack チャンネルでオートメーションを作成します。イベントを手動でトリガーし、その後、アクションが実行され、ペイロードやメッセージの内容が正しいことを確認してください。
- アラート疲れを避ける: run フィルター、メトリクスのしきい値、または alias パターンを使用して、オートメーションが実行される頻度を制限します。重大度が複数ある場合は、それぞれを別のチャンネルに振り分けてください。
制限事項
- run メトリクスのオートメーションおよびrun メトリクスの z スコア変化オートメーションは、W&B Multi-tenant Cloudと専用クラウドでのみサポートされています。
- チームおよび組織スコープでは、W&B App でサポートされるのは artifact とコレクションのイベントのみです。これらのスコープでは、run ベースのイベントは W&B App で利用できません。詳細は、Automation events and scopesを参照してください。
次のステップ
- オートメーションのチュートリアル: run の失敗を通知する project オートメーションと、alias が追加されたときに webhook を実行する Registry オートメーションの作成方法を案内します。このチュートリアルでは W&B App を使用します。
- オートメーションを作成。
- Automation events and scopes。
- シークレットを作成。
オートメーションに関する関連チュートリアルをお探しですか？