Weave를 사용하여 컴퓨터 비전 파이프라인 Trace 및 Evaluate 하기

# 필요한 종속성 설치
!pip install openai weave -q

import json
import os

from google.colab import userdata
from openai import OpenAI

import weave

# API 키 가져오기
os.environ["OPENAI_API_KEY"] = userdata.get(
    "OPENAI_API_KEY"
)  # 왼쪽 메뉴의 collab 환경 비밀 변수(secrets)에서 키를 설정하세요
os.environ["WANDB_API_KEY"] = userdata.get("WANDB_API_KEY")

# 프로젝트 이름 설정
# PROJECT 값을 사용자의 프로젝트 이름으로 변경하세요
PROJECT = "vlm-handwritten-ner"

# Weave 프로젝트 초기화
weave.init(PROJECT)

# Weave를 사용하여 프롬프트 오브젝트 생성
prompt = """
이 이미지에서 읽을 수 있는 모든 텍스트를 추출하세요. 추출된 엔티티를 유효한 JSON 형식으로 구성하세요.
추가 텍스트를 반환하지 말고 JSON만 반환하세요. ```json```을 포함하지 마세요.
다음 형식을 사용하세요:
{"Patient Name": "James James","Date": "4/22/2025","Patient ID": "ZZZZZZZ123","Group Number": "3452542525"}
"""
system_prompt = weave.StringPrompt(prompt)
# 프롬프트를 Weave에 게시(publish)
weave.publish(system_prompt, name="NER-prompt")

better_prompt = """
당신은 정밀 OCR 어시스턴트입니다. 환자 정보 이미지가 주어지면, 정확히 다음 필드들을 하나의 JSON 오브젝트로 추출하세요. 그 외에는 아무것도 추출하지 마세요:

- Patient Name
- Date (MM/DD/YYYY)
- Patient ID
- Group Number

검증 규칙:
1. 날짜는 MM/DD/YY 형식이어야 합니다. 그렇지 않으면 Date를 ""로 설정하세요.
2. Patient ID는 영숫자여야 합니다. 읽을 수 없는 경우 ""로 설정하세요.
3. 월과 일은 항상 0을 채워 두 자리로 만드세요 (예: "04/07/25").
4. 마크업, 주석 또는 코드 펜스(code fences)를 생략하세요.
5. 정확히 위 네 개의 키만 포함된 유효한 JSON을 반환하세요.

추가 텍스트를 반환하지 말고 JSON만 반환하세요. ```json```을 포함하지 마세요.
출력 예시:
{"Patient Name":"James James","Date":"04/22/25","Patient ID":"ZZZZZZZ123","Group Number":"3452542525"}
"""
# 프롬프트 수정
system_prompt = weave.StringPrompt(better_prompt)
# 수정된 프롬프트를 Weave에 게시
weave.publish(system_prompt, name="NER-prompt")

# 다음 Weave 프로젝트에서 데이터셋 가져오기
dataset = weave.ref(
    "weave://wandb-smle/vlm-handwritten-ner/object/NER-eval-dataset:G8MEkqWBtvIxPYAY23sXLvqp8JKZ37Cj0PgcG19dGjw"
).get()

# 데이터셋에서 특정 예시 엑세스
example_image = dataset.rows[3]["image_base64"]

# example_image 표시
from IPython.display import HTML, display

html = f'<img src="{example_image}" style="max-width: 100%; height: auto;">'
display(HTML(html))

# GPT-4-Vision을 사용하는 추적 가능한 함수
def extract_named_entities_from_image(image_base64) -> dict:
    # LLM 클라이언트 초기화
    client = OpenAI()

    # 지시 프롬프트 설정
    # 선택적으로 Weave에 저장된 프롬프트를 사용할 수 있습니다: weave.ref("weave://wandb-smle/vlm-handwritten-ner/object/NER-prompt:FmCv4xS3RFU21wmNHsIYUFal3cxjtAkegz2ylM25iB8").get().content.strip()
    prompt = better_prompt

    response = client.responses.create(
        model="gpt-4.1",
        input=[
            {
                "role": "user",
                "content": [
                    {"type": "input_text", "text": prompt},
                    {
                        "type": "input_image",
                        "image_url": image_base64,
                    },
                ],
            }
        ],
    )

    return response.output_text

# 평가를 위한 NER 함수
@weave.op()
def named_entity_recognation(image_base64, id):
    result = {}
    try:
        # 1) vision op를 호출하여 JSON 문자열을 가져옵니다
        output_text = extract_named_entities_from_image(image_base64)

        # 2) JSON을 정확히 한 번 파싱합니다
        result = json.loads(output_text)

        print(f"처리됨: {str(id)}")
    except Exception as e:
        print(f"{str(id)} 처리 실패: {e}")
    return result

# 결과 출력
results = []

# 데이터셋의 모든 이미지를 루프
for row in dataset.rows:
    result = named_entity_recognation(row["image_base64"], str(row["id"]))
    result["image_id"] = str(row["id"])
    results.append(result)

# 모든 결과를 JSON 파일로 저장
output_file = "processing_results.json"
with open(output_file, "w") as f:
    json.dump(results, f, indent=2)

print(f"결과가 다음 위치에 저장되었습니다: {output_file}")

# Scorer 실행 추적을 위해 weave.op() 추가
@weave.op()
def check_for_missing_fields_programatically(model_output):
    # 모든 항목에 필요한 필수 키
    required_fields = {"Patient Name", "Date", "Patient ID", "Group Number"}

    for key in required_fields:
        if (
            key not in model_output
            or model_output[key] is None
            or str(model_output[key]).strip() == ""
        ):
            return False  # 누락되거나 비어 있는 필드가 있는 항목입니다

    return True  # 모든 필수 필드가 존재하며 비어 있지 않습니다

# LLM-as-a-judge를 위한 시스템 프롬프트

eval_prompt = """
당신은 OCR 검증 시스템입니다. 당신의 역할은 이미지에서 추출된 구조화된 텍스트가 해당 이미지의 정보를 정확하게 반영하는지 평가하는 것입니다.
구조화된 텍스트만 검증하고 이미지를 정보의 원천(source of truth)으로 사용하세요.

예상되는 입력 텍스트 형식:
{"Patient Name": "First Last", "Date": "04/23/25", "Patient ID": "131313JJH", "Group Number": "35453453"}

평가 기준:
- 네 개의 필드가 모두 존재해야 합니다.
- 어떤 필드도 비어 있거나 플레이스홀더/잘못된 형식의 값을 포함해서는 안 됩니다.
- "Date"는 MM/DD/YY 형식이어야 합니다 (예: "04/07/25") (날짜 앞에 0을 채우는 것이 허용됩니다).

채점:
- **모든 필드**가 이미지의 정보와 일치하고 형식이 올바른 경우 {"Correct": true, "Reason": ""}를 반환합니다.
- 필드가 하나라도 누락되었거나, 비어 있거나, 올바르지 않거나, 일치하지 않는 경우 {"Correct": false, "Reason": "EXPLANATION"}를 반환합니다.

출력 요구 사항:
- 유효한 JSON 오브젝트만 응답하세요.
- "Correct"는 JSON 불리언이어야 합니다: true 또는 false (문자열이나 숫자가 아님).
- "Reason"은 모든 문제를 나타내는 짧고 구체적인 문자열이어야 합니다. 예: "Patient Name mismatch", "Date not zero-padded", 또는 "Missing Group Number".
- 추가 설명이나 서식을 반환하지 마세요.

응답은 반드시 다음 중 하나여야 합니다:
{"Correct": true, "Reason": null}
또는
{"Correct": false, "Reason": "EXPLANATION_HERE"}
"""

# Scorer 실행 추적을 위해 weave.op() 추가
@weave.op()
def check_for_missing_fields_with_llm(model_output, image_base64):
    client = OpenAI()
    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[
            {"role": "developer", "content": [{"text": eval_prompt, "type": "text"}]},
            {
                "role": "user",
                "content": [
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": image_base64,
                        },
                    },
                    {"type": "text", "text": str(model_output)},
                ],
            },
        ],
        response_format={"type": "json_object"},
    )
    response = json.loads(response.choices[0].message.content)
    return response

evaluation = weave.Evaluation(
    dataset=dataset,
    scorers=[
        check_for_missing_fields_with_llm,
        check_for_missing_fields_programatically,
    ],
    name="Evaluate_4.1_NER",
)

print(await evaluation.evaluate(named_entity_recognation))