피드백 수집 및 어노테이션 활용

import weave
client = weave.init('intro-example')

# 프로젝트의 모든 feedback 조회
all_feedback = client.get_feedback()

# id로 특정 feedback 객체를 가져옵니다.
# API는 컬렉션을 반환하며, 여기에는 최대 1개 항목만 포함될 것으로 예상됩니다.
one_feedback = client.get_feedback("[FEEDBACK-UUID]")[0]

# 특정 reaction이 있는 모든 feedback 객체를 찾습니다. offset과 limit를 지정할 수 있습니다.
thumbs_up = client.get_feedback(reaction="👍", limit=10)

# 조회 후 개별 feedback 객체의 세부 정보를 확인합니다.
for f in client.get_feedback():
    print(f.id)
    print(f.created_at)
    print(f.feedback_type)
    print(f.payload)

import weave
client = weave.init('intro-example')

call = client.get_call("[CALL-UUID]")

# 이모지 반응 추가
call.feedback.add_reaction("👍")

# 노트 추가
call.feedback.add_note("this is a note")

# 맞춤형 키/값 쌍 추가
# 첫 번째 인수는 사용자가 정의한 "type" string입니다.
# 피드백은 JSON으로 직렬화할 수 있어야 하며, 직렬화 시 1KB 미만이어야 합니다.
call.feedback.add("correctness", { "value": 5 })

import weave
weave.init("uuid")

@weave.op()
def simple_operation(input_value):
    # 단순한 오퍼레이션 수행
    output = f"Processed {input_value}"
    # 현재 Call ID 가져오기
    current_call = weave.require_current_call()
    call_id = current_call.id
    return output, call_id

import weave
weave.init("uuid")

@weave.op()
def simple_operation(input_value):
    return f"Processed {input_value}"

# 오퍼레이션을 실행하고 결과와 call ID를 가져옵니다
result, call = simple_operation.call("example input")
call_id = call.id

call.feedback.purge("[FEEDBACK-UUID]")

import weave
from weave.flow.annotation_spec import AnnotationSpec

client = weave.init("feedback-example")

spec1 = AnnotationSpec(
  name="Temperature",
  description="The perceived temperature of the llm call",
  field_schema={
    "type": "number",
    "minimum": -1,
    "maximum": 1,
  }
)
spec2 = AnnotationSpec(
  name="Tone",
  description="The tone of the llm response",
  field_schema={
    "type": "string",
    "enum": ["Aggressive", "Neutral", "Polite", "N/A"],
  },
)
weave.publish(spec1, "temperature-scorer")
weave.publish(spec2, "tone-scorer")

import weave
from weave.flow.annotation_spec import AnnotationSpec

client = weave.init("feedback-example")

# 스코어러의 새 버전 생성
spec1 = AnnotationSpec(
  name="Temperature",
  description="LLM Call의 체감 온도",
  field_schema={
    "type": "integer",  # <<- 유형을 integer로 변경
    "minimum": -1,
    "maximum": 1,
  }
)
weave.publish(spec1, "temperature-scorer")

import weave

client = weave.init("feedback-example")

call = client.get_call("[CALL-ID]")
annotation_spec = weave.ref("[ANNOTATION-SPEC-REF-URI]")

call.feedback.add(
  feedback_type="wandb.annotation." + annotation_spec.name,
  payload={"value": 1},
  annotation_ref=annotation_spec.uri(),
)