​

W&B Inference

• 호스팅 제공업체에 가입하거나 모델을 직접 호스팅할 필요 없이 AI 애플리케이션과 에이전트를 개발할 수 있습니다.
• W&B Weave Playground에서 지원되는 모델들을 사용해 볼 수 있습니다.

• 필수 사항
  • Python을 통한 API 사용을 위한 추가 필수 사항
• API 사양
  • 엔드포인트
  • 사용 가능한 메소드
    • Chat completions
    • 지원 모델 목록 조회
• 사용 예시
• UI
  • Inference 서비스 엑세스
  • Playground에서 모델 사용해 보기
  • 여러 모델 비교하기
  • 결제 및 사용량 정보 확인
• 사용 정보 및 제한 사항
• API 에러

​

필수 사항

1. W&B 계정. 여기에서 가입하세요.
2. W&B API 키. User Settings에서 API 키를 생성하세요.
3. W&B Project.
4. Python을 통해 Inference 서비스를 사용하는 경우, Python을 통한 API 사용을 위한 추가 필수 사항을 참조하세요.

​

Python을 통한 API 사용을 위한 추가 필수 사항

pip install openai weave

​

API 사양

• 엔드포인트
• 사용 가능한 메소드
• 사용 예시

​

엔드포인트

https://api.inference.wandb.ai/v1

​

사용 가능한 메소드

• Chat completions
• 지원 모델 목록 조회

​

Chat completions

• Inference 서비스 베이스 URL https://api.inference.wandb.ai/v1
• W&B API 키 <your-api-key>
• W&B Entity 및 Project 이름 <your-team>/<your-project>
• 사용하려는 모델의 ID (다음 중 하나):
  • meta-llama/Llama-3.1-8B-Instruct
  • deepseek-ai/DeepSeek-V3-0324
  • meta-llama/Llama-3.3-70B-Instruct
  • deepseek-ai/DeepSeek-R1-0528
  • meta-llama/Llama-4-Scout-17B-16E-Instruct
  • microsoft/Phi-4-mini-instruct

curl https://api.inference.wandb.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer <your-api-key>" \
  -H "OpenAI-Project: <your-team>/<your-project>" \
  -d '{
    "model": "<model-id>",
    "messages": [
      { "role": "system", "content": "You are a helpful assistant." },
      { "role": "user", "content": "Tell me a joke." }
    ]
  }'

import openai

client = openai.OpenAI(
    # 커스텀 베이스 URL은 W&B Inference를 가리킵니다.
    base_url='https://api.inference.wandb.ai/v1',

    # https://wandb.ai/settings 에서 API 키를 생성하세요.
    # 보안을 위해 환경 변수 OPENAI_API_KEY에 설정하는 것을 권장합니다.
    api_key="<your-api-key>",

    # 사용량 추적을 위해 Team과 Project가 필요합니다.
    project="<your-team>/<your-project>",
)

# <model-id>를 다음 값 중 하나로 대체하세요:
# meta-llama/Llama-3.1-8B-Instruct
# deepseek-ai/DeepSeek-V3-0324
# meta-llama/Llama-3.3-70B-Instruct
# deepseek-ai/DeepSeek-R1-0528
# meta-llama/Llama-4-Scout-17B-16E-Instruct
# microsoft/Phi-4-mini-instruct

response = client.chat.completions.create(
    model="<model-id>",
    messages=[
        {"role": "system", "content": "<your-system-prompt>"},
        {"role": "user", "content": "<your-prompt>"}
    ],
)

print(response.choices[0].message.content)

​

지원 모델 목록 조회

curl https://api.inference.wandb.ai/v1/models \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer <your-api-key>" \
  -H "OpenAI-Project: <your-team>/<your-project>" \

import openai

client = openai.OpenAI(
    base_url="https://api.inference.wandb.ai/v1",
    api_key="<your-api-key>",
    project="<your-team>/<your-project>"
)

response = client.models.list()

for model in response.data:
    print(model.id)

​

사용 예시

• 기본 예시: Weave로 Llama 3.1 8B Trace하기
• 심화 예시: Inference 서비스와 함께 Weave Evaluations 및 Leaderboards 사용하기

​

기본 예시: Weave로 Llama 3.1 8B Trace하기

• @weave.op() 데코레이터가 적용된 함수 run_chat을 정의하며, 이 함수는 OpenAI 호환 클라이언트를 사용하여 chat completion 요청을 수행합니다.
• Trace는 지정된 W&B Entity 및 Project(project="<your-team>/<your-project>)와 연결되어 기록됩니다.
• 함수는 Weave에 의해 자동으로 trace되므로 입력, 출력, 지연 시간 및 메타데이터(모델 ID 등)가 로그에 남습니다.
• 결과는 터미널에 출력되며, trace는 지정된 프로젝트 아래 https://wandb.ai의 Traces 탭에 나타납니다.

import weave
import openai

# Tracing을 위한 Weave team과 project 설정
weave.init("<your-team>/<your-project>")

client = openai.OpenAI(
    base_url='https://api.inference.wandb.ai/v1',

    # https://wandb.ai/settings 에서 API 키를 생성하세요.
    api_key="<your-api-key>",

    # W&B inference 사용량 추적을 위해 필요합니다.
    project="wandb/inference-demo",
)

# Weave에서 모델 호출 trace
@weave.op()
def run_chat():
    response = client.chat.completions.create(
        model="meta-llama/Llama-3.1-8B-Instruct",
        messages=[
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": "Tell me a joke."}
        ],
    )
    return response.choices[0].message.content

# Trace된 호출 실행 및 로그 기록
output = run_chat()
print(output)

1. https://wandb.ai로 이동합니다.
2. Traces 탭을 선택하여 Weave trace를 확인합니다.

​

심화 예시: Inference 서비스와 함께 Weave Evaluations 및 Leaderboards 사용하기

import os
import asyncio
import openai
import weave
from weave.flow import leaderboard
from weave.trace.ref_util import get_ref

# Tracing을 위한 Weave team과 project 설정
weave.init("<your-team>/<your-project>")

dataset = [
    {"input": "What is 2 + 2?", "target": "4"},
    {"input": "Name a primary color.", "target": "red"},
]

@weave.op
def exact_match(target: str, output: str) -> float:
    return float(target.strip().lower() == output.strip().lower())

class WBInferenceModel(weave.Model):
    model: str

    @weave.op
    def predict(self, prompt: str) -> str:
        client = openai.OpenAI(
            base_url="https://api.inference.wandb.ai/v1",
            # https://wandb.ai/settings 에서 API 키를 생성하세요.
            api_key="<your-api-key>",
            # W&B inference 사용량 추적을 위해 필요합니다.
            project="<your-team>/<your-project>",
        )
        resp = client.chat.completions.create(
            model=self.model,
            messages=[{"role": "user", "content": prompt}],
        )
        return resp.choices[0].message.content

llama = WBInferenceModel(model="meta-llama/Llama-3.1-8B-Instruct")
deepseek = WBInferenceModel(model="deepseek-ai/DeepSeek-V3-0324")

def preprocess_model_input(example):
    return {"prompt": example["input"]}

evaluation = weave.Evaluation(
    name="QA",
    dataset=dataset,
    scorers=[exact_match],
    preprocess_model_input=preprocess_model_input,
)

async def run_eval():
    await evaluation.evaluate(llama)
    await evaluation.evaluate(deepseek)

asyncio.run(run_eval())

spec = leaderboard.Leaderboard(
    name="Inference Leaderboard",
    description="Compare models on a QA dataset",
    columns=[
        leaderboard.LeaderboardColumn(
            evaluation_object_ref=get_ref(evaluation).uri(),
            scorer_name="exact_match",
            summary_metric_path="mean",
        )
    ],
)

weave.publish(spec)

• Traces 탭으로 이동하여 trace 확인
• Evals 탭으로 이동하여 모델 evaluation 확인
• Leaders 탭으로 이동하여 생성된 leaderboard 확인

​

UI

​

Inference 서비스 엑세스

• 직접 링크
• Inference 탭에서
• Playground 탭에서

​

직접 링크

​

Inference 탭에서

1. https://wandb.ai/의 W&B 계정으로 이동합니다.
2. 왼쪽 사이드바에서 Inference를 선택합니다. 사용 가능한 모델 및 모델 정보 페이지가 표시됩니다.

​

Playground 탭에서

1. 왼쪽 사이드바에서 Playground를 선택합니다. Playground 채팅 UI가 표시됩니다.
2. LLM 드롭다운 목록에서 W&B Inference 위로 마우스를 가져갑니다. 오른쪽에 사용 가능한 W&B Inference 모델 드롭다운이 표시됩니다.
3. W&B Inference 모델 드롭다운에서 다음을 수행할 수 있습니다:
   • 사용 가능한 모델의 이름을 클릭하여 Playground에서 시도해 보기.
   • Playground에서 하나 이상의 모델 비교하기.

​

Playground에서 모델 사용해 보기

• 모델 설정 및 파라미터 커스텀
• 메시지 추가, 재시도, 편집 및 삭제
• 커스텀 설정으로 모델 저장 및 재사용
• 여러 모델 비교하기

​

여러 모델 비교하기

• Inference 탭에서 Compare 뷰 엑세스
• Playground 탭에서 Compare 뷰 엑세스

​

Inference 탭에서 Compare 뷰 엑세스

1. 왼쪽 사이드바에서 Inference를 선택합니다. 사용 가능한 모델 및 모델 정보 페이지가 표시됩니다.
2. 비교할 모델을 선택하려면 모델 카드의 아무 곳이나(모델 이름 제외) 클릭합니다. 선택을 나타내기 위해 모델 카드의 테두리가 파란색으로 강조됩니다.
3. 비교하려는 각 모델에 대해 2단계를 반복합니다.
4. 선택된 카드 중 하나에서 Compare N models in the Playground 버튼을 클릭합니다 (N은 비교 중인 모델의 수입니다. 예를 들어 3개의 모델이 선택되면 버튼에 Compare 3 models in the Playground라고 표시됩니다). 비교 뷰가 열립니다.

​

Playground 탭에서 Compare 뷰 엑세스

1. 왼쪽 사이드바에서 Playground를 선택합니다. Playground 채팅 UI가 표시됩니다.
2. LLM 드롭다운 목록에서 W&B Inference 위로 마우스를 가져갑니다. 오른쪽에 사용 가능한 W&B Inference 모델 드롭다운이 표시됩니다.
3. 드롭다운에서 Compare를 선택합니다. Inference 탭이 표시됩니다.
4. 비교할 모델을 선택하려면 모델 카드의 아무 곳이나(모델 이름 제외) 클릭합니다. 선택을 나타내기 위해 모델 카드의 테두리가 파란색으로 강조됩니다.
5. 비교하려는 각 모델에 대해 4단계를 반복합니다.
6. 선택된 카드 중 하나에서 Compare N models in the Playground 버튼을 클릭합니다 (N은 비교 중인 모델의 수입니다. 예를 들어 3개의 모델이 선택되면 버튼에 Compare 3 models in the Playground라고 표시됩니다). 비교 뷰가 열립니다.

​

결제 및 사용량 정보 확인

1. W&B UI에서 W&B Billing 페이지로 이동합니다.
2. 우측 하단에 Inference 결제 정보 카드가 표시됩니다. 여기에서 다음을 수행할 수 있습니다:

• Inference 결제 정보 카드의 View usage 버튼을 클릭하여 시간 경과에 따른 사용량을 확인합니다.
• 유료 플랜인 경우, 예정된 inference 요금을 확인합니다.

​

사용 정보 및 제한 사항

​

지리적 제한 사항

​

동시성 제한 사항

• 오용 방지 및 API 안정성 보호
• 모든 사용자의 엑세스 보장
• 인프라 부하의 효과적인 관리

​

가격

​

API 에러