ガードレールを設定する

import weave
import openai
from weave.scorers import OpenAIModerationScorer
import asyncio

# Weave を初期化する
weave.init("your-team-name/your-project-name")

# OpenAI クライアントを初期化する
client = openai.OpenAI()  # OPENAI_API_KEY 環境変数を使用する

# モデレーションScorerを初期化する
moderation_scorer = OpenAIModerationScorer()

# OpenAI にプロンプトを送信する
@weave.op
def generate_response(prompt: str) -> str:
    response = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": prompt}
        ],
        max_tokens=200
    )
    return response.choices[0].message.content

# ガードレール関数で応答の有害性をチェックする
async def generate_safe_response(prompt: str) -> str:
    """コンテンツモデレーションガードレールを使用して応答を生成する。"""
    # 結果と Call オブジェクトの両方を取得する
    result, call = generate_response.call(prompt)
    
    # ユーザーに返す前にモデレーションScorerを適用する
    score = await call.apply_scorer(moderation_scorer)
    print("スコアオブジェクト:", score)
    
    # コンテンツにフラグが付いているか確認する
    if not score.result.get("passed", True): 
        categories = score.result.get("categories", {})
        flagged_categories = list(categories.keys()) if categories else []
        print(f"コンテンツがブロックされました。フラグが付いたカテゴリ: {flagged_categories}")
        return "申し訳ありませんが、コンテンツポリシーの制限により、その応答を提供できません。"
    
    return result

# サンプルを実行する
if __name__ == "__main__":
    
    prompts = [
        "What's the capital of France?",
        "Tell me a funny fact about dogs.",
    ]
    
    for prompt in prompts:
        print(f"\nプロンプト: {prompt}")
        response = asyncio.run(generate_safe_response(prompt))
        print(f"応答: {response}")

import weave
import openai
import re
import asyncio
from weave import Scorer

weave.init("your-team-name/your-project-name")

client = openai.OpenAI()

class PIIDetectionScorer(Scorer):
    """LLM出力のPIIを検出してデータ漏洩を防ぎます。"""
    
    @weave.op
    def score(self, output: str) -> dict:
        """
        出力に含まれる一般的なPIIパターンを確認します。
        
        戻り値:
            dict: 'passed'（bool）と'detected_types'（list）を含む
        """
        detected_types = []
        
        # メールパターン
        if re.search(r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b', output):
            detected_types.append("email")
        
        # 電話番号パターン（US形式）
        if re.search(r'\b\d{3}[-.]?\d{3}[-.]?\d{4}\b', output):
            detected_types.append("phone")
        
        # SSNパターン
        if re.search(r'\b\d{3}-\d{2}-\d{4}\b', output):
            detected_types.append("ssn")
        
        return {
            "passed": len(detected_types) == 0,
            "detected_types": detected_types
        }

# パフォーマンス最適化のため、関数の外でScorerを初期化する
pii_scorer = PIIDetectionScorer()

@weave.op
def generate_response(prompt: str) -> str:
    """LLMを使用して応答を生成します。"""
    response = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": prompt}
        ],
        max_tokens=200
    )
    return response.choices[0].message.content

async def generate_safe_response(prompt: str) -> str:
    """PII検出ガードレールを使用して応答を生成します。"""
    result, call = generate_response.call(prompt)
    
    # PII検出Scorerを適用する
    score = await call.apply_scorer(pii_scorer)
    
    # PIIが検出された場合は応答をブロックする
    if not score.result.get("passed", True):
        detected_types = score.result.get("detected_types", [])
        return f"I cannot provide a response that may contain sensitive information (detected: {', '.join(detected_types)})."
    
    return result

# 使用例
if __name__ == "__main__":
    prompts = [
        "What's the weather like today?",
        "Can you help me contact someone at john.doe@example.com?",
        "Tell me about machine learning.",
    ]
    
    for prompt in prompts:
        print(f"\nPrompt: {prompt}")
        response = asyncio.run(generate_safe_response(prompt))
        print(f"Response: {response}")