はじめに
トレースと評価の基本を押さえた実践的なハンズオン例を通じて、Weave を使い始めましょう。
評価 & Datasets
評価の作成、データセットの活用、モデル比較のためのリーダーボードの構築方法を学びます。
Models & Prompts
実例を通して、モデル管理、プロンプトエンジニアリング、最適化手法を学びます。
高度なトピック
マルチエージェントシステム、コード生成、特化型パイプラインなど、複雑なユースケースを詳しく見ていきます。
本番とモニタリング
監視、フィードバック収集、安全性のガードレールに対応した本番向けパターンを実装します。
API & インテグレーション
サービス API を使用して Weave を統合し、外部システムと連携する方法を学びます。
おすすめのクックブック
はじめに
- Hello Trace - Weave でトレースを始める最初の step
- Hello Eval - 評価の概念の紹介
評価 & Datasets
- Leaderboard Quickstart - モデル比較用のリーダーボードを作成
- HuggingFace Datasets - HFデータセットを使ってモデルを評価
- Import from CSV - CSVデータを読み込み、活用する
Models & Prompts
- ModelsとWeaveのインテグレーション - 包括的なモデルインテグレーションガイド
- Chain of Density - 高度なプロンプト手法
- DSPyプロンプト最適化 - プログラムでプロンプトを最適化
- NotDiamondカスタムルーティング - インテリジェントなモデルルーティングを実装
応用トピック
- マルチエージェントの構造化出力 - 複雑なマルチエージェントシステム
- コード生成 - コード生成パイプラインを構築
- OCR パイプライン - OCR を使ってドキュメントを処理
- オーディオ処理 - Weave でオーディオデータを扱う
本番とモニタリング
- Online Monitoring - リアルタイムでシステムを監視する
- Production Feedback - ユーザーフィードバックを収集・分析する
- Scorers as Guardrails - 安全対策を実装する
- Custom Model Costs - コストをトラッキングして最適化する
- PII Protection - 機微データを安全に扱う
API とインテグレーション
- Service API の使用 - API を直接利用するインテグレーション パターン