フィードバックを収集し、アノテーションを活用する

import weave
client = weave.init('intro-example')

# project 内のすべてのフィードバックを取得します
all_feedback = client.get_feedback()

# id で特定のフィードバック オブジェクトを取得します。
# API はコレクションを返し、含まれる項目は最大 1 つであることが想定されます。
one_feedback = client.get_feedback("[FEEDBACK-UUID]")[0]

# 特定のリアクションを持つすべてのフィードバック オブジェクトを検索します。offset と limit を指定できます。
thumbs_up = client.get_feedback(reaction="👍", limit=10)

# 取得後に、個々のフィードバック オブジェクトの詳細を確認します。
for f in client.get_feedback():
    print(f.id)
    print(f.created_at)
    print(f.feedback_type)
    print(f.payload)

import weave
client = weave.init('intro-example')

call = client.get_call("[CALL-UUID]")

# 絵文字リアクションを追加する
call.feedback.add_reaction("👍")

# ノートを追加する
call.feedback.add_note("this is a note")

# カスタムのキー/値ペアを追加する。
# 最初の引数はユーザー定義の "type" string です。
# フィードバックは JSON にシリアライズ可能であり、シリアライズ後のサイズが 1 KB 未満である必要があります。
call.feedback.add("correctness", { "value": 5 })

import weave
weave.init("uuid")

@weave.op()
def simple_operation(input_value):
    # シンプルな処理を実行します
    output = f"Processed {input_value}"
    # 現在の Call ID を取得します
    current_call = weave.require_current_call()
    call_id = current_call.id
    return output, call_id

import weave
weave.init("uuid")

@weave.op()
def simple_operation(input_value):
    return f"Processed {input_value}"

# オペレーションを実行し、結果と call ID を取得します
result, call = simple_operation.call("example input")
call_id = call.id

call.feedback.purge("[FEEDBACK-UUID]")

import weave
from weave.flow.annotation_spec import AnnotationSpec

client = weave.init("feedback-example")

spec1 = AnnotationSpec(
  name="Temperature",
  description="The perceived temperature of the llm call",
  field_schema={
    "type": "number",
    "minimum": -1,
    "maximum": 1,
  }
)
spec2 = AnnotationSpec(
  name="Tone",
  description="The tone of the llm response",
  field_schema={
    "type": "string",
    "enum": ["Aggressive", "Neutral", "Polite", "N/A"],
  },
)
weave.publish(spec1, "temperature-scorer")
weave.publish(spec2, "tone-scorer")

import weave
from weave.flow.annotation_spec import AnnotationSpec

client = weave.init("feedback-example")

# スコアラーの新しいバージョンを作成する
spec1 = AnnotationSpec(
  name="Temperature",
  description="LLM Call の体感温度",
  field_schema={
    "type": "integer",  # <<- タイプを integer に変更
    "minimum": -1,
    "maximum": 1,
  }
)
weave.publish(spec1, "temperature-scorer")

import weave

client = weave.init("feedback-example")

call = client.get_call("[CALL-ID]")
annotation_spec = weave.ref("[ANNOTATION-SPEC-REF-URI]")

call.feedback.add(
  feedback_type="wandb.annotation." + annotation_spec.name,
  payload={"value": 1},
  annotation_ref=annotation_spec.uri(),
)