これはインタラクティブ ノートブックです。ローカルで実行することも、以下のリンクから利用することもできます。
生成されたLLMの応答を自動的に評価するのは難しいことが多いため、許容できるリスクの度合いに応じて、改善点を見つけるためにユーザーから直接フィードバックを収集できます。 このチュートリアルでは、ユーザーフィードバックを収集するサンプルアプリとして、カスタムチャットボットを使用します。 インターフェースの構築にはStreamlitを使用し、LLMとのやり取りとフィードバックはWeaveに記録します。
セットアップ
!pip install weave openai streamlit wandb
!pip install set-env-colab-kaggle-dotenv -q # 環境変数用
python
# OpenAIとWandBのAPIキーを記載した.envファイルを追加する
from set_env import set_env
_ = set_env("OPENAI_API_KEY")
_ = set_env("WANDB_API_KEY")
chatbot.py ファイルを作成します。
# chatbot.py
import openai
import streamlit as st
import wandb
from set_env import set_env
import weave
_ = set_env("OPENAI_API_KEY")
_ = set_env("WANDB_API_KEY")
wandb.login()
weave_client = weave.init("feedback-example")
oai_client = openai.OpenAI()
def init_states():
"""session_state のキーがまだ存在しない場合に設定する。"""
if "messages" not in st.session_state:
st.session_state["messages"] = []
if "calls" not in st.session_state:
st.session_state["calls"] = []
if "session_id" not in st.session_state:
st.session_state["session_id"] = "123abc"
@weave.op
def chat_response(full_history):
"""
これまでの会話履歴全体を元に、ストリーミングモードで OpenAI API を呼び出す。
full_history は dict のリスト: [{"role":"user"|"assistant","content":...}, ...]
"""
stream = oai_client.chat.completions.create(
model="gpt-4", messages=full_history, stream=True
)
response_text = st.write_stream(stream)
return {"response": response_text}
def render_feedback_buttons(call_idx):
"""call に対するサムズアップ/ダウンおよびテキストフィードバックを表示する。"""
col1, col2, col3 = st.columns([1, 1, 4])
# サムズアップボタン
with col1:
if st.button("👍", key=f"thumbs_up_{call_idx}"):
st.session_state.calls[call_idx].feedback.add_reaction("👍")
st.success("フィードバックありがとうございます！")
# サムズダウンボタン
with col2:
if st.button("👎", key=f"thumbs_down_{call_idx}"):
st.session_state.calls[call_idx].feedback.add_reaction("👎")
st.success("フィードバックありがとうございます！")
# テキストフィードバック
with col3:
feedback_text = st.text_input("Feedback", key=f"feedback_input_{call_idx}")
if (
st.button("Submit Feedback", key=f"submit_feedback_{call_idx}")
and feedback_text
):
st.session_state.calls[call_idx].feedback.add_note(feedback_text)
st.success("フィードバックを送信しました！")
def display_old_messages():
"""st.session_state.messages に保存された会話をフィードバックボタンとともに表示する"""
for idx, message in enumerate(st.session_state.messages):
with st.chat_message(message["role"]):
st.markdown(message["content"])
# アシスタントのメッセージの場合はフィードバックフォームを表示する
if message["role"] == "assistant":
# st.session_state.calls 内のこのアシスタントメッセージのインデックスを特定する
assistant_idx = (
len(
[
m
for m in st.session_state.messages[: idx + 1]
if m["role"] == "assistant"
]
)
- 1
)
# サムズアップ/ダウンおよびテキストフィードバックを表示する
if assistant_idx < len(st.session_state.calls):
render_feedback_buttons(assistant_idx)
def display_chat_prompt():
"""チャットプロンプトの入力ボックスを表示する。"""
if prompt := st.chat_input("Ask me anything!"):
# 新しいユーザーメッセージを即座に表示する
with st.chat_message("user"):
st.markdown(prompt)
# ユーザーメッセージをセッションに保存する
st.session_state.messages.append({"role": "user", "content": prompt})
# API 用のチャット履歴を準備する
full_history = [
{"role": msg["role"], "content": msg["content"]}
for msg in st.session_state.messages
]
with st.chat_message("assistant"):
# 会話インスタンスのトラッキング用に Weave 属性を付与する
with weave.attributes(
{"session": st.session_state["session_id"], "env": "prod"}
):
# OpenAI API を呼び出す（ストリーム）
result, call = chat_response.call(full_history)
# アシスタントのメッセージを保存する
st.session_state.messages.append(
{"role": "assistant", "content": result["response"]}
)
# フィードバックを特定の応答に紐付けるために weave の call オブジェクトを保存する
st.session_state.calls.append(call)
# 新しいメッセージ用のフィードバックボタンを表示する
new_assistant_idx = (
len(
[
m
for m in st.session_state.messages
if m["role"] == "assistant"
]
)
- 1
)
# フィードバックボタンを表示する
if new_assistant_idx < len(st.session_state.calls):
render_feedback_buttons(new_assistant_idx)
def main():
st.title("即時フィードバックフォーム付きチャットボット")
init_states()
display_old_messages()
display_chat_prompt()
if __name__ == "__main__":
main()
streamlit run chatbot.py で実行できます。
これで、このアプリケーションを操作し、各応答の後でフィードバックボタンをクリックできます。
添付されたフィードバックを確認するには、Weave UI にアクセスします。
説明
import weave
weave.init("feedback-example")
@weave.op
def predict(input_data):
# 予測ロジックをここに記述
some_result = "hello world"
return some_result
with weave.attributes(
{"session": "123abc", "env": "prod"}
): # callにinputs & outputsと共に任意の属性を付加する
result = predict(input_data="your data here") # App UI経由のユーザーの質問
.call() メソッドを使って取得した call オブジェクトが必要です:
result, call = predict.call(input_data="your data here")
resultから取得できます。
call.feedback.add_reaction("👍") # アプリUIを通じたユーザーのリアクション