Prodigy
Prodigyは、機械学習モデルのトレーニングや評価データ、エラー分析、データ検査・クリーニングのための注釈ツールです。W&Bテーブルを使用すると、データセット(やそれ以上のもの!)をW&B内にログ、可視化、分析、共有することができます。
ProdigyとW&Bの統合により、Prodigyで注釈付きデータセットをW&Bに直接アップロードし、テーブルで使用するためのシンプルで使いやすい機能が追加されます。
以下のようなコードを数行実行してください。
import wandb
from wandb.integration.prodigy import upload_dataset
with wandb.init(project="prodigy"):
upload_dataset("news_headlines_ner")
すると、このような視覚的でインタラクティブな、共有可能なテーブルが得られます。
クイックスタート
wandb.integration.prodigy.upload_dataset
を使用して、ローカルのProdigyデータベースから注釈付きのProdigyデータセットをW&BのTable形式で直接アップロードします。Prodigyの詳細情報、インストール・セットアップについては、Prodigyドキュメントを参照してください。
W&Bは、画像や名前付きエンティティフィールドを自動的にwandb.Image
や wandb.Html
に変換しようとします。結果の表には、これらの可視化を含めるために追加の列が追加されることがあります。
詳細な例を読む
W&B Prodigy統合で生成された例の可視化については、Visualizing Prodigy Datasets Using W&B Tablesをご覧ください。
spaCyも使っていますか?
W&BにはspaCyとの統合もあります。こちらのドキュメントをご覧ください。