피드백 수집 및 어노테이션 사용

import weave
client = weave.init('intro-example')

# 프로젝트의 모든 피드백 가져오기
all_feedback = client.get_feedback()

# ID로 특정 피드백 오브젝트 가져오기.
# API는 컬렉션을 반환하며, 최대 하나의 항목이 포함될 것으로 예상됩니다.
one_feedback = client.get_feedback("<feedback_uuid>")[0]

# 특정 반응이 있는 모든 피드백 오브젝트 찾기. offset과 limit을 지정할 수 있습니다.
thumbs_up = client.get_feedback(reaction="👍", limit=10)

# 검색 후 개별 피드백 오브젝트의 상세 정보 확인.
for f in client.get_feedback():
    print(f.id)
    print(f.created_at)
    print(f.feedback_type)
    print(f.payload)

import weave
client = weave.init('intro-example')

call = client.get_call("<call_uuid>")

# 이모지 반응 추가
call.feedback.add_reaction("👍")

# 노트 추가
call.feedback.add_note("this is a note")

# 커스텀 키/값 쌍 추가.
# 첫 번째 인수는 사용자 정의 "type" 문자열입니다.
# 피드백은 JSON 직렬화가 가능해야 하며 직렬화 시 1KB 미만이어야 합니다.
call.feedback.add("correctness", { "value": 5 })

import weave
weave.init("uuid")

@weave.op()
def simple_operation(input_value):
    # 간단한 작업 수행
    output = f"Processed {input_value}"
    # 현재 call ID 가져오기
    current_call = weave.require_current_call()
    call_id = current_call.id
    return output, call_id

import weave
weave.init("uuid")

@weave.op()
def simple_operation(input_value):
    return f"Processed {input_value}"

# 작업을 실행하고 결과와 call ID를 검색
result, call = simple_operation.call("example input")
call_id = call.id

call.feedback.purge("<feedback_uuid>")

import weave
from weave.flow.annotation_spec import AnnotationSpec

client = weave.init("feedback-example")

spec1 = AnnotationSpec(
  name="Temperature",
  description="The perceived temperature of the llm call",
  field_schema={
    "type": "number",
    "minimum": -1,
    "maximum": 1,
  }
)
spec2 = AnnotationSpec(
  name="Tone",
  description="The tone of the llm response",
  field_schema={
    "type": "string",
    "enum": ["Aggressive", "Neutral", "Polite", "N/A"],
  },
)
weave.publish(spec1, "temperature-scorer")
weave.publish(spec2, "tone-scorer")

import weave
from weave.flow.annotation_spec import AnnotationSpec

client = weave.init("feedback-example")

# scorer의 새 버전 생성
spec1 = AnnotationSpec(
  name="Temperature",
  description="The perceived temperature of the llm call",
  field_schema={
    "type": "integer",  # <<- 타입을 integer로 변경
    "minimum": -1,
    "maximum": 1,
  }
)
weave.publish(spec1, "temperature-scorer")

import weave

client = weave.init("feedback-example")

call = client.get_call("<call_id>")
annotation_spec = weave.ref("<annotation_spec_ref_uri>")

call.feedback.add(
  feedback_type="wandb.annotation." + annotation_spec.name,
  payload={"value": 1},
  annotation_ref=annotation_spec.uri(),
)