はじめに
トレースと評価の基本を扱う実践的なハンズオン例を通して、Weave を使い始めましょう。
評価とデータセット
評価の作成方法、データセットの活用方法、モデル比較のためのリーダーボードの構築方法を学べます。
モデルとプロンプト
実践的な例を通して、モデル管理、プロンプトエンジニアリング、最適化の手法を学べます。
高度なトピック
マルチエージェントシステム、コード生成、特化したパイプラインなど、複雑なユースケースを紹介します。
本番運用とモニタリング
モニタリング、フィードバック収集、安全性のためのガードレールに関する本番対応パターンを実装します。
API とインテグレーション
サービス API を使用して Weave を統合し、外部システムと連携する方法を学べます。
注目のクックブック
はじめに
- Hello Trace - Weave のトレースを始める最初の一歩。
- Hello Eval - 評価の概念を学びます。
評価とデータセット
- Leaderboard Quickstart - モデル比較用のリーダーボードを作成。
- Hugging Face Datasets - Hugging Faceデータセットを使ってモデルを評価。
- Import from CSV - CSVデータを読み込み、活用する。
Modelsとプロンプト
- ModelsとWeaveのインテグレーション - モデルをWeaveと統合します。
- Chain of Density - 高度なプロンプト手法を適用します。
- DSPyプロンプト最適化 - プログラムでプロンプトを最適化します。
- NotDiamondカスタムルーティング - インテリジェントなモデルルーティングを実装します。
応用トピック
- マルチエージェントの構造化出力 - 複雑なマルチエージェントシステムを構築します。
- コード生成 - コード生成パイプラインを構築します。
- OCR パイプライン - OCR を使ってドキュメントを処理します。
- オーディオ処理 - Weave でオーディオデータを扱います。
本番とモニタリング
- Online Monitoring - リアルタイムでシステムを監視する
- Production Feedback - ユーザーフィードバックを収集・分析する
- Scorers as Guardrails - 安全対策を実装する
- Custom Model Costs - コストをトラッキングして最適化する
- PII Protection - 機微データを安全に扱う
API とインテグレーション
- サービス API の使用 - サービス API を直接利用して統合します。