メインコンテンツへスキップ
Weave Trace viewは、LLMやエージェント型アプリにおける複雑な実行パスを理解しやすくするために設計されています。多数のネストされたcallを含むエージェント型アプリをデバッグする場合でも、単一のモデル予測の流れをトラッキングする場合でも、Trace viewは何が起きたのかを明確に可視化します。また、アプリケーションフローをさまざまな方法で表示し、理解することもできます。 このガイドでは、トレーススタック内を移動する方法、コードから呼び出された関数をフィルターや検索で絞り込む方法、表示形式を切り替える方法などについて説明します.

​
はじめに

Trace view に入るには、次の手順に従います。
  1. https://wandb.ai にアクセスし、プロジェクトを選択します。
  2. サイドバーメニューで Traces を選択すると、プロジェクトに保存されているすべてのトレースが表示されます。
  3. トレースを選択して Trace Details view を開きます。Trace Details view には、トレース実行の階層的な内訳を示す追加のパネルが表示されます。

​
トレース ページの概要

トレース ページは、3 つの主要なパネルで構成されています。
  • 左パネル: プロジェクト内のすべてのトレースを表示する、並べ替え可能でページ分割されたリストです。
    • このトレースの表には、トークン 数、コスト、レイテンシなどの追加データも含まれます。
  • 中央パネル: 選択したトレースのインタラクティブなTrace view。トレース ツリーには、そのトレース内でトラッキングされたすべての method の階層が表示されます。
    • トレース ツリーには、トレース中に呼び出された @weave.op() でデコレートされた function である ops が表示されます。
  • 右パネル: 選択したトレース内で選択した op の詳細です。
選択したトレースと選択した op の詳細が表示されたトレース ページ

​
トレース内でのフィルタリング

  • 名前で正規表現フィルター: トレース ツリーの上部にあるテキスト フィールドを使用して、tool、openai.response.create などの名前またはタイプで op をフィルタリングします。
  • メトリクス: 利用可能な場合は、コスト、トークン、レイテンシなどのデータ メトリクスを表示するかどうかを制御します。
トレース ツリーには、トレース内でトラッキングされたすべてのmethodの階層が表示されます。ツリー内を上下に移動するには、Cmd (macOS) または Alt (Windows/Linux) + 上矢印 (↑) / 下矢印 (↓) を使用します。 トレース ツリーの下には、ツリー内の各状態をすばやく移動するためのスクラバーがいくつかあります。これらのスライダーを使って、トレース内を効率よく移動できます。 パネルを展開すると、利用可能なすべてのスクラバーを表示できます。
  • Timeline: トレース内のイベントを時系列順に表示します。
  • Peers: 同じタイプの op。たとえば、predict という関数の詳細を確認している場合、このスクラバーを使うと、トレース内の次の predict の実行にすぐ移動できます。
  • Siblings: 同じ親を持つ op。このスクラバーを使うと、親関数 call の下にネストされた op を順にたどれます。
  • Stack: コールスタックを上下にたどります。
  • Path: (コード構成ビューでのみ利用可能) 選択した call と同じコードパスを持つすべての call を順にたどります。
検索フィルターとスクラバーを表示したトレース ツリー パネル

​
トレース ツリーの別のビュー

パネル上部では、必要に応じてトレース ツリーを複数の表示形式で切り替えられます。デバッグの目的に応じてビューを切り替えてください。call のロジックを把握するにはコード構成ビュー、時間経過に伴うパフォーマンスを確認するにはフレームグラフビュー、構造を把握するにはグラフ ビューを使用します。

​
トレース (デフォルト)

トレース ツリーのデフォルトのビューでは、スタック階層、op ごとのコスト (利用できる場合) 、実行時間、ステータスインジケーターが表示されます。

​
コード構成ビュー

コード構成ビューでは、各ボックスが op とそのネストされた call を表します。これは、function call の流れを可視化するのに役立ちます。このビューでは、ボックスを選択してその op の詳細を掘り下げたり、call パスをフィルターしたりできます。
トレースのコードビューを示す Trace view

​
フレームグラフ

フレームグラフビューでは、実行の深さと継続時間をタイムラインベースで可視化できます。これは、時間の経過に伴うパフォーマンス診断を理解する際に役立ちます。フレームを選択して、サブトレースに絞り込むことができます。
トレース内の ops のフレームグラフを表示する Trace view

​
グラフ ビュー

グラフ ビューには、op 間の階層的な関係が表示されます。親子関係を把握するのに役立ちます。
トレース 内の op と関係を機能的なグラフ ビューで示した Trace view

​
トレース op の詳細を表示

トレース ツリーで op を選択すると、その op の詳細が右隣のパネルに表示されます。詳細は次のタブに分かれています。
  • Call: op の実行時の入力と出力。
  • Code: call が行われた際に使用されたコード。
  • Feedback: op に対して利用可能な feedback。Weave 内または API 経由で直接 feedback を提供できます。
  • Scores: op に対して利用可能な scores。calls は評価を実行してスコア付けされます。
  • Summary: op に関する一般的な情報。
  • Use: call をプログラムで取得し、reactions、メモ、feedback を追加するために使用できるコード スニペット。