フィードバックを収集し、アノテーションを活用する

import weave
client = weave.init('intro-example')

# プロジェクト内のすべてのフィードバックを取得します
all_feedback = client.get_feedback()

# ID で特定のフィードバックオブジェクトを取得します。
# API はコレクションを返し、最大で 1 件の項目が含まれる想定です。
one_feedback = client.get_feedback("<feedback_uuid>")[0]

# 特定のリアクションを持つすべてのフィードバックオブジェクトを取得します。offset と limit を指定できます。
thumbs_up = client.get_feedback(reaction="👍", limit=10)

# 取得後、各フィードバックオブジェクトの詳細を表示します。
for f in client.get_feedback():
    print(f.id)
    print(f.created_at)
    print(f.feedback_type)
    print(f.payload)

import weave
client = weave.init('intro-example')

call = client.get_call("<call_uuid>")

# 絵文字リアクションを追加
call.feedback.add_reaction("👍")

# ノートを追加
call.feedback.add_note("this is a note")

# カスタムのキー/値ペアを追加します。
# 最初の引数はユーザー定義の "type" 文字列です。
# フィードバックは JSON でシリアライズ可能であり、シリアライズ後のサイズが 1 KB 未満である必要があります。
call.feedback.add("correctness", { "value": 5 })

import weave
weave.init("uuid")

@weave.op()
def simple_operation(input_value):
    # 単純な処理を実行
    output = f"Processed {input_value}"
    # 現在の Call ID を取得
    current_call = weave.require_current_call()
    call_id = current_call.id
    return output, call_id

import weave
weave.init("uuid")

@weave.op()
def simple_operation(input_value):
    return f"Processed {input_value}"

# operation を実行し、結果と call ID を取得する
result, call = simple_operation.call("example input")
call_id = call.id

call.feedback.purge("<feedback_uuid>")

import weave
from weave.flow.annotation_spec import AnnotationSpec

client = weave.init("feedback-example")

spec1 = AnnotationSpec(
  name="Temperature",
  description="The perceived temperature of the llm call",
  field_schema={
    "type": "number",
    "minimum": -1,
    "maximum": 1,
  }
)
spec2 = AnnotationSpec(
  name="Tone",
  description="The tone of the llm response",
  field_schema={
    "type": "string",
    "enum": ["Aggressive", "Neutral", "Polite", "N/A"],
  },
)
weave.publish(spec1, "temperature-scorer")
weave.publish(spec2, "tone-scorer")

import weave
from weave.flow.annotation_spec import AnnotationSpec

client = weave.init("feedback-example")

# スコアラーの新しいバージョンを作成
spec1 = AnnotationSpec(
  name="Temperature",
  description="llm call の体感温度",
  field_schema={
    "type": "integer",  # <<- タイプを integer に変更
    "minimum": -1,
    "maximum": 1,
  }
)
weave.publish(spec1, "temperature-scorer")

import weave

client = weave.init("feedback-example")

call = client.get_call("<call_id>")
annotation_spec = weave.ref("<annotation_spec_ref_uri>")

call.feedback.add(
  feedback_type="wandb.annotation." + annotation_spec.name,
  payload={"value": 1},
  annotation_ref=annotation_spec.uri(),
)