> ## Documentation Index
> Fetch the complete documentation index at: https://docs.wandb.ai/llms.txt
> Use this file to discover all available pages before exploring further.

# Serverless Inference

> Weave로 Serverless Inference를 사용해 OpenAI 호환 API를 통해 오픈 소스 파운데이션 모델 Call을 트레이스하고 모니터링합니다.

<div id="serverless-inference">
  # Serverless Inference
</div>

\_Serverless Inference\_는 W\&B Weave 및 OpenAI 호환 API를 통해 오픈 소스 파운데이션 모델에 액세스할 수 있도록 제공합니다. 이 가이드에서는 API와 Weave UI에서 Serverless Inference를 호출하는 방법과, Weave로 이러한 호출을 트레이스, 평가, 모니터링하는 방법을 설명합니다. Serverless Inference를 사용하면 다음을 할 수 있습니다:

* 호스팅 제공업체에 가입하거나 모델을 직접 호스팅하지 않고도 AI 애플리케이션과 에이전트를 개발할 수 있습니다.
* Weave 플레이그라운드에서 지원되는 모델을 사용해 볼 수 있습니다.

<Warning>
  Serverless Inference 크레딧은 한정된 기간 동안 Free, Pro, Academic 플랜에 포함됩니다. Enterprise의 경우 제공 여부가 다를 수 있습니다. 크레딧을 모두 소진하면 다음과 같습니다:

  * Free 계정은 Inference를 계속 사용하려면 Pro 플랜으로 업그레이드해야 합니다.
  * Pro 플랜 사용자는 모델별 가격에 따라 Inference 초과 사용량이 매월 청구됩니다.

  자세한 내용은 [가격 페이지](https://wandb.ai/site/pricing/) 및 [Serverless Inference 모델 비용](https://wandb.ai/site/pricing/inference)을 참조하세요.
</Warning>

Weave를 사용하면 Serverless Inference 기반 애플리케이션을 트레이스하고, 평가하고, 모니터링하고, 반복적으로 개선할 수 있습니다.

| Model            | Model ID (for API usage)                  | Types   | Context Window | Parameters           | Description                                                 |
| ---------------- | ----------------------------------------- | ------- | -------------- | -------------------- | ----------------------------------------------------------- |
| DeepSeek R1-0528 | deepseek-ai/DeepSeek-R1-0528              | 텍스트     | 161K           | 37B - 680B (활성 - 전체) | 복잡한 코딩, 수학, 구조화된 문서 분석 등 정밀한 추론 작업에 최적화되었습니다.               |
| DeepSeek V3-0324 | deepseek-ai/DeepSeek-V3-0324              | 텍스트     | 161K           | 37B - 680B (활성 - 전체) | 고난도 언어 처리와 포괄적인 문서 분석에 맞춰 설계된 강력한 Mixture-of-Experts 모델입니다. |
| Llama 3.1 8B     | meta-llama/Llama-3.1-8B-Instruct          | 텍스트     | 128K           | 8B (전체)              | 빠르게 응답하는 다국어 챗봇 상호작용에 최적화된 효율적인 대화형 모델입니다.                  |
| Llama 3.3 70B    | meta-llama/Llama-3.3-70B-Instruct         | 텍스트     | 128K           | 70B (전체)             | 대화 작업, 세부 지시 이행, 코딩에 강점을 가진 다국어 모델입니다.                      |
| Llama 4 Scout    | meta-llama/Llama-4-Scout-17B-16E-Instruct | 텍스트, 비전 | 64K            | 17B - 109B (활성 - 전체) | 텍스트와 이미지 이해를 결합한 멀티모달 모델로, 시각 작업과 복합 분석에 적합합니다.             |
| Phi 4 Mini       | microsoft/Phi-4-mini-instruct             | 텍스트     | 128K           | 3.8B (활성 - 전체)       | 리소스가 제한된 환경에서 빠른 응답에 적합한 작고 효율적인 모델입니다.                     |

이 가이드는 다음 정보를 제공합니다:

* [사전 요구 사항](#prerequisites)
  * [Python을 통해 API를 사용하기 위한 추가 사전 요구 사항](#additional-prerequisites-for-using-the-api-via-python)
* [API 사양](#api-specification)
  * [엔드포인트](#endpoint)
  * [사용 가능한 방법](#available-methods)
    * [Chat completions](#chat-completions)
    * [지원되는 모델 목록](#list-supported-models)
* [사용 예시](#usage-examples)
* [UI](#ui)
  * [Inference 서비스에 액세스하기](#access-the-inference-service)
  * [플레이그라운드에서 모델 사용해 보기](#try-a-model-in-the-playground)
  * [여러 모델 비교](#compare-multiple-models)
  * [결제 및 사용 정보 보기](#view-billing-and-usage-information)
* [사용 정보 및 제한 사항](#usage-information-and-limits)
* [API 오류](#api-errors)

<div id="prerequisites">
  ## 사전 요구 사항
</div>

API 또는 Weave UI를 통해 Serverless Inference 서비스에 액세스하려면 다음 항목이 필요합니다.

1. W\&B 계정. [계정에 가입하세요](https://app.wandb.ai/login?signup=true&_gl=1*1yze8dp*_ga*ODIxMjU5MTk3LjE3NDk0OTE2NDM.*_ga_GMYDGNGKDT*czE3NDk4NDYxMzgkbzEyJGcwJHQxNzQ5ODQ2MTM4JGo2MCRsMCRoMA..*_ga_JH1SJHJQXJ*czE3NDk4NDU2NTMkbzI1JGcxJHQxNzQ5ODQ2MTQ2JGo0NyRsMCRoMA..*_gcl_au*MTE4ODk1MzY1OC4xNzQ5NDkxNjQzLjk1ODA2MjQwNC4xNzQ5NTgyMTUzLjE3NDk1ODIxNTM.).
2. W\&B API 키. [User Settings](https://wandb.ai/settings)에서 API 키를 생성하세요.
3. W\&B 프로젝트.
4. Python을 통해 Inference 서비스를 사용하는 경우 [Python을 통해 API를 사용하기 위한 추가 사전 요구 사항](#additional-prerequisites-for-using-the-api-via-python)을 참조하세요.

<div id="additional-prerequisites-for-using-the-api-via-python">
  ### Python에서 API를 사용하기 위한 추가 사전 요구 사항
</div>

Python에서 Inference API를 사용하려면 먼저 공통 사전 요구 사항을 완료하세요. 그런 다음 로컬 환경에 `openai`와 `weave` 라이브러리를 설치하세요. `openai` 라이브러리는 Inference 엔드포인트를 호출하는 데 사용하는 OpenAI 호환 클라이언트를 제공하며, `weave` 라이브러리는 이러한 호출을 트레이스하고 평가할 수 있게 해줍니다.

```bash theme={null}
pip install openai weave
```

<Note>
  LLM 애플리케이션을 Weave로 트레이스하는 경우에만 `weave` 라이브러리가 필요합니다. Weave 시작에 대한 자세한 내용은 [Weave 퀵스타트](/ko/weave/quickstart)를 참조하세요.

  Weave로 Serverless Inference 서비스를 사용하는 방법을 보여주는 예시는 [API 사용 예시](#usage-examples)를 참조하세요.
</Note>

<div id="api-specification">
  ## API 사양
</div>

다음 섹션에서는 API 사양 정보와 API 사용 예시를 제공합니다. 이를 통해 자체 애플리케이션이나 스크립트에서 Inference 서비스를 프로그래밍 방식으로 호출할 수 있습니다.

* [엔드포인트](#endpoint)
* [사용 가능한 방법](#available-methods)
* [사용 예시](#usage-examples)

<div id="endpoint">
  ### 엔드포인트
</div>

다음 엔드포인트를 통해 Inference 서비스에 액세스하세요:

```plaintext theme={null}
https://api.inference.wandb.ai/v1
```

<Warning>
  이 엔드포인트에 액세스하려면 Inference 서비스 크레딧이 할당된 W\&B 계정, 유효한 W\&B API 키, 그리고 W\&B entity(“team”이라고도 함)와 프로젝트가 있어야 합니다. 이 가이드의 코드 샘플에서는 entity(team)와 프로젝트를 `<your-team>/<your-project>`로 나타냅니다.
</Warning>

<div id="available-methods">
  ### 사용 가능한 방법
</div>

Inference 서비스에서 지원하는 API 방법은 다음과 같습니다:

* [Chat completions](#chat-completions)
* [지원되는 모델 목록](#list-supported-models)

<div id="chat-completions">
  #### Chat completions
</div>

기본적으로 사용할 수 있는 API 방법은 `/chat/completions`이며, 지원되는 모델에 메시지를 보내고 completion을 받기 위한 OpenAI 호환 요청 형식을 지원합니다. Weave로 Serverless Inference 서비스를 사용하는 방법을 보여주는 사용 예시는 [API 사용 예시](#usage-examples)를 참조하세요.

채팅 completion을 생성하려면 다음이 필요합니다:

* Inference 서비스 기본 URL `https://api.inference.wandb.ai/v1`
* W\&B API 키 `<your-api-key>`
* W\&B entity 및 프로젝트 이름 `<your-team>/<your-project>`
* 사용하려는 모델의 ID(다음 중 하나):
  * `meta-llama/Llama-3.1-8B-Instruct`
  * `deepseek-ai/DeepSeek-V3-0324`
  * `meta-llama/Llama-3.3-70B-Instruct`
  * `deepseek-ai/DeepSeek-R1-0528`
  * `meta-llama/Llama-4-Scout-17B-16E-Instruct`
  * `microsoft/Phi-4-mini-instruct`

<Tabs>
  <Tab title="Bash">
    ```bash theme={null}
    curl https://api.inference.wandb.ai/v1/chat/completions \
      -H "Content-Type: application/json" \
      -H "Authorization: Bearer <your-api-key>" \
      -H "OpenAI-Project: <your-team>/<your-project>" \
      -d '{
        "model": "<model-id>",
        "messages": [
          { "role": "system", "content": "You are a helpful assistant." },
          { "role": "user", "content": "Tell me a joke." }
        ]
      }'
    ```
  </Tab>

  <Tab title="Python">
    ```python lines theme={null}
    import openai

    client = openai.OpenAI(
        # 맞춤형 기본 URL은 Serverless Inference를 가리킵니다
        base_url='https://api.inference.wandb.ai/v1',

        # https://wandb.ai/settings 에서 API 키를 생성하세요
        # 안전을 위해 대신 환경 변수 OPENAI_API_KEY로 설정하는 것을 고려하세요
        api_key="<your-api-key>",

        # 사용량 추적을 위해 팀과 프로젝트가 필요합니다
        project="<your-team>/<your-project>",
    )

    # <model-id>를 다음 값 중 하나로 바꾸세요:
    # meta-llama/Llama-3.1-8B-Instruct
    # deepseek-ai/DeepSeek-V3-0324
    # meta-llama/Llama-3.3-70B-Instruct
    # deepseek-ai/DeepSeek-R1-0528
    # meta-llama/Llama-4-Scout-17B-16E-Instruct
    # microsoft/Phi-4-mini-instruct

    response = client.chat.completions.create(
        model="<model-id>",
        messages=[
            {"role": "system", "content": "<your-system-prompt>"},
            {"role": "user", "content": "<your-prompt>"}
        ],
    )

    print(response.choices[0].message.content)
    ```
  </Tab>
</Tabs>

<div id="list-supported-models">
  #### 지원되는 모델 목록
</div>

API를 사용해 사용 가능한 모든 모델과 해당 ID를 조회합니다. 이는 모델을 동적으로 선택하거나 현재 환경에서 어떤 모델을 사용할 수 있는지 확인할 때 유용합니다.

<Tabs>
  <Tab title="Bash">
    ```bash theme={null}
    curl https://api.inference.wandb.ai/v1/models \
      -H "Content-Type: application/json" \
      -H "Authorization: Bearer <your-api-key>" \
      -H "OpenAI-Project: <your-team>/<your-project>" \
    ```
  </Tab>

  <Tab title="Python">
    ```python lines theme={null}
    import openai

    client = openai.OpenAI(
        base_url="https://api.inference.wandb.ai/v1",
        api_key="<your-api-key>",
        project="<your-team>/<your-project>"
    )

    response = client.models.list()

    for model in response.data:
        print(model.id)
    ```
  </Tab>
</Tabs>

<div id="usage-examples">
  ## 사용 예시
</div>

다음 섹션에서는 Weave로 Serverless Inference를 사용하는 방법을 보여 주는 몇 가지 예시를 제공합니다. 먼저 기본 예시로 단일 모델 Call을 트레이스한 다음, 고급 예시로 여러 모델을 평가하고 비교해 보세요.

* [기본 예시: Weave로 Llama 3.1 8B 트레이스하기](#basic-example-trace-llama-31-8b-with-weave)
* [고급 예시: Inference 서비스에서 Weave Evaluations 및 리더보드 사용하기](#advanced-example-use-weave-evaluations-and-leaderboards-with-the-inference-service)

<div id="basic-example-trace-llama-31-8b-with-weave">
  ### 기본 예제: Weave로 Llama 3.1 8B 트레이스하기
</div>

다음 Python 코드 샘플은 Serverless Inference API를 사용해 **Llama 3.1 8B** 모델에 프롬프트를 보내고, Weave에서 해당 call을 트레이스하는 방법을 보여줍니다. 트레이싱을 사용하면 LLM call의 전체 입력 및 출력을 캡처하고, 성능을 모니터링하고, Weave UI에서 결과를 분석할 수 있습니다.

<Tip>
  [Weave의 트레이싱](../tracking/tracing.mdx)에 대해 자세히 알아보세요.
</Tip>

이 예제에서는 다음을 수행합니다:

* OpenAI 호환 클라이언트를 사용해 chat completion 요청을 보내는 `@weave.op()` 데코레이터가 적용된 함수 `run_chat`를 정의합니다.
* Weave는 트레이스를 기록하여 W\&B entity 및 프로젝트 `project="<your-team>/<your-project>"`와 연결합니다.
* Weave는 함수를 자동으로 트레이스하여 입력, 출력, 지연 시간, 메타데이터(예: 모델 ID)를 로깅합니다.
* 결과는 터미널에 출력되며, 트레이스는 지정한 프로젝트 아래 [https://wandb.ai](https://wandb.ai)의 **Traces** 탭에 표시됩니다.

이 예제를 사용하려면 [일반 사전 요구 사항](#prerequisites)과 [Python을 통해 API를 사용하기 위한 추가 사전 요구 사항](#additional-prerequisites-for-using-the-api-via-python)을 완료해야 합니다。

```python lines theme={null}
import weave
import openai

# 트레이싱을 위한 Weave 팀 및 프로젝트 설정
weave.init("<your-team>/<your-project>")

client = openai.OpenAI(
    base_url='https://api.inference.wandb.ai/v1',

    # https://wandb.ai/settings 에서 API 키를 생성하세요
    api_key="<your-api-key>",

    # W&B inference 사용량 추적에 필요
    project="wandb/inference-demo",
)

# Weave에서 모델 call 트레이스
@weave.op()
def run_chat():
    response = client.chat.completions.create(
        model="meta-llama/Llama-3.1-8B-Instruct",
        messages=[
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": "Tell me a joke."}
        ],
    )
    return response.choices[0].message.content

# 트레이스된 call 실행 및 로깅
output = run_chat()
print(output)
```

코드 샘플을 실행한 후 모델 응답이 터미널에 출력되고, 해당 call은 Weave 트레이스로 로깅됩니다. Weave에서 트레이스를 확인하려면 터미널에 출력된 링크(예: `https://wandb.ai/<your-team>/<your-project>/r/call/01977f8f-839d-7dda-b0c2-27292ef0e04g`)를 클릭하면 됩니다. 또는 다음과 같이 할 수 있습니다.

1. [https://wandb.ai](https://wandb.ai)로 이동합니다.
2. **Traces** 탭을 선택해 Weave 트레이스를 확인합니다.

다음으로, [고급 예제](#advanced-example-use-weave-evaluations-and-leaderboards-with-the-inference-service)를 사용해 여러 모델을 평가하고 비교해 보세요.

<Frame>
  <img src="https://mintcdn.com/wb-21fd5541/S0cRiDzxeODX77LU/weave/guides/integrations/imgs/image.png?fit=max&auto=format&n=S0cRiDzxeODX77LU&q=85&s=2f5903a0c99d890ae6ee5023a439bffc" alt="트레이스 표시" width="3024" height="1194" data-path="weave/guides/integrations/imgs/image.png" />
</Frame>

<div id="advanced-example-use-weave-evaluations-and-leaderboards-with-the-inference-service">
  ### 고급 예제: Inference 서비스와 함께 Weave Evaluations 및 리더보드 사용
</div>

또한 Inference 서비스와 함께 Weave를 사용하여 [모델 Call을 트레이스](../tracking/tracing.mdx)하고, [성능을 평가](../core-types/evaluations.mdx)하고 [리더보드를 게시](../core-types/leaderboards.mdx)할 수 있습니다. 다음 Python 코드 샘플은 질문-답변 데이터셋에서 두 모델을 비교합니다.

이 예제를 사용하려면 [일반 사전 요구 사항](#prerequisites)과 [Python을 통해 API를 사용하는 추가 사전 요구 사항](#additional-prerequisites-for-using-the-api-via-python)을 충족해야 합니다.

```python lines theme={null}
import os
import asyncio
import openai
import weave
from weave.flow import leaderboard
from weave.trace.ref_util import get_ref

# 트레이싱을 위한 Weave 팀 및 프로젝트 설정
weave.init("<your-team>/<your-project>")

dataset = [
    {"input": "What is 2 + 2?", "target": "4"},
    {"input": "Name a primary color.", "target": "red"},
]

@weave.op
def exact_match(target: str, output: str) -> float:
    return float(target.strip().lower() == output.strip().lower())

class WBInferenceModel(weave.Model):
    model: str

    @weave.op
    def predict(self, prompt: str) -> str:
        client = openai.OpenAI(
            base_url="https://api.inference.wandb.ai/v1",
            # https://wandb.ai/settings 에서 API 키를 생성하세요
            api_key="<your-api-key>",
            # W&B inference 사용량 추적에 필요합니다
            project="<your-team>/<your-project>",
        )
        resp = client.chat.completions.create(
            model=self.model,
            messages=[{"role": "user", "content": prompt}],
        )
        return resp.choices[0].message.content

llama = WBInferenceModel(model="meta-llama/Llama-3.1-8B-Instruct")
deepseek = WBInferenceModel(model="deepseek-ai/DeepSeek-V3-0324")

def preprocess_model_input(example):
    return {"prompt": example["input"]}

evaluation = weave.Evaluation(
    name="QA",
    dataset=dataset,
    scorers=[exact_match],
    preprocess_model_input=preprocess_model_input,
)

async def run_eval():
    await evaluation.evaluate(llama)
    await evaluation.evaluate(deepseek)

asyncio.run(run_eval())

spec = leaderboard.Leaderboard(
    name="Inference Leaderboard",
    description="Compare models on a QA dataset",
    columns=[
        leaderboard.LeaderboardColumn(
            evaluation_object_ref=get_ref(evaluation).uri(),
            scorer_name="exact_match",
            summary_metric_path="mean",
        )
    ],
)

weave.publish(spec)
```

앞의 코드 샘플을 실행하면 Weave가 평가 결과, 트레이스, 그리고 두 모델을 비교하는 리더보드를 W\&B 프로젝트에 게시합니다. 게시된 결과를 보려면 [https://wandb.ai/](https://wandb.ai/)의 W\&B 계정으로 이동한 다음, 다음을 수행합니다:

* **Traces** 탭으로 이동하여 [트레이스를 확인합니다](../tracking/tracing.mdx).
* **Evals** 탭으로 이동하여 [모델 평가를 확인합니다](../core-types/evaluations.mdx).
* **Leaders** 탭으로 이동하여 [생성된 리더보드를 확인합니다](../core-types/leaderboards.mdx).

<Frame>
  <img src="https://mintcdn.com/wb-21fd5541/S0cRiDzxeODX77LU/weave/guides/integrations/imgs/inference-advanced-evals.png?fit=max&auto=format&n=S0cRiDzxeODX77LU&q=85&s=c84cb4c02e7fa39fcc4bda38b88d4eaa" alt="모델 평가 보기" width="3024" height="1194" data-path="weave/guides/integrations/imgs/inference-advanced-evals.png" />
</Frame>

<Frame>
  <img src="https://mintcdn.com/wb-21fd5541/S0cRiDzxeODX77LU/weave/guides/integrations/imgs/inference-advanced-leaderboard.png?fit=max&auto=format&n=S0cRiDzxeODX77LU&q=85&s=dbfbf04a76f9eddea2915577627c1991" alt="트레이스 보기" width="3024" height="1194" data-path="weave/guides/integrations/imgs/inference-advanced-leaderboard.png" />
</Frame>

<div id="ui">
  ## UI
</div>

다음 섹션에서는 W\&B UI를 통해 Inference 서비스를 사용하는 방법을 설명합니다. UI를 통해 Inference 서비스에 액세스하려면 먼저 [사전 요구 사항](#prerequisites)을 완료하세요.

<div id="access-the-inference-service">
  ### Inference 서비스에 접속하기
</div>

Weave UI의 다음 위치에서 Inference 서비스에 접속할 수 있습니다:

* [직접 링크](#direct-link)
* [Inference 탭에서](#from-the-inference-tab)
* [플레이그라운드 탭에서](#from-the-playground-tab)

<div id="direct-link">
  #### 직접 링크
</div>

다음 링크로 이동합니다: [https://wandb.ai/inference](https://wandb.ai/inference).

<div id="from-the-inference-tab">
  #### Inference 탭에서
</div>

1. [https://wandb.ai/](https://wandb.ai/)에서 W\&B 계정에 접속합니다.
2. 왼쪽 사이드바에서 **Inference**를 선택합니다. 사용 가능한 모델과 모델 정보가 표시되는 페이지가 열립니다.

<Frame>
  <img src="https://mintcdn.com/wb-21fd5541/S0cRiDzxeODX77LU/weave/guides/integrations/imgs/inference-ui.png?fit=max&auto=format&n=S0cRiDzxeODX77LU&q=85&s=7f884952b4edba810ef08ae5b2fa0f50" alt="Inference 탭" width="2414" height="1240" data-path="weave/guides/integrations/imgs/inference-ui.png" />
</Frame>

<div id="from-the-playground-tab">
  #### Playground 탭에서
</div>

1. 왼쪽 사이드바에서 **Playground**를 선택합니다. Playground 채팅 UI가 표시됩니다.
2. LLM 드롭다운 목록에서 **Serverless Inference** 위에 마우스를 올립니다. 사용 가능한 Serverless Inference 모델이 포함된 드롭다운이 오른쪽에 표시됩니다.
3. Serverless Inference 모델 드롭다운에서 다음을 수행할 수 있습니다:
   * 사용 가능한 모델의 이름을 클릭하여 [Playground에서 사용해 볼 수 있습니다](#try-a-model-in-the-playground).
   * [Playground에서 하나 이상의 모델을 비교할 수 있습니다](#compare-multiple-models).

<Frame>
  <img src="https://mintcdn.com/wb-21fd5541/S0cRiDzxeODX77LU/weave/guides/integrations/imgs/inference-playground.png?fit=max&auto=format&n=S0cRiDzxeODX77LU&q=85&s=b27ca1d93d5108c670ba6178cf3b4e3a" alt="Playground의 Inference 모델 드롭다운" width="3022" height="1240" data-path="weave/guides/integrations/imgs/inference-playground.png" />
</Frame>

<div id="try-a-model-in-the-playground">
  ### 플레이그라운드에서 모델 사용해 보기
</div>

[액세스 옵션 중 하나를 사용해 모델을 선택](#access-the-inference-service)한 후 플레이그라운드에서 해당 모델을 사용해 볼 수 있습니다. 다음 작업을 수행할 수 있습니다:

* [모델 설정 및 매개변수 사용자 지정](../tools/playground#customize-settings)
* [메시지 추가, 재시도, 편집 및 삭제](../tools/playground#message-controls)
* [사용자 지정 설정으로 모델 저장 및 재사용](../tools/playground#saved-models)
* [여러 모델 비교](#compare-multiple-models)

<Frame>
  <img src="https://mintcdn.com/wb-21fd5541/S0cRiDzxeODX77LU/weave/guides/integrations/imgs/inference-playground-single.png?fit=max&auto=format&n=S0cRiDzxeODX77LU&q=85&s=95c11dc022164a0caa9e2b8d148a2274" alt="플레이그라운드에서 Inference 모델 사용" width="1706" height="1240" data-path="weave/guides/integrations/imgs/inference-playground-single.png" />
</Frame>

<div id="compare-multiple-models">
  ### 여러 모델 비교
</div>

플레이그라운드에서 여러 Inference 모델을 비교할 수 있습니다. 다음 두 위치에서 Compare 뷰에 액세스하세요:

* [Inference 탭에서 Compare 뷰 열기](#access-the-compare-view-from-the-inference-tab)
* [플레이그라운드 탭에서 Compare 뷰 열기](#access-the-compare-view-from-the-playground-tab)

<div id="access-the-compare-view-from-the-inference-tab">
  #### Inference 탭에서 Compare 뷰 열기
</div>

1. 왼쪽 사이드바에서 **Inference**를 선택합니다. 사용 가능한 모델과 모델 정보가 표시된 페이지가 열립니다.
2. 비교할 모델을 선택하려면 모델 카드에서 모델 이름을 제외한 아무 곳이나 클릭합니다. 선택되었음을 나타내기 위해 모델 카드 테두리가 파란색으로 강조 표시됩니다.
3. 비교하려는 각 모델에 대해 2단계를 반복합니다.
4. 선택한 카드 중 아무 카드에서나 **Compare N models in the Playground** 버튼을 클릭합니다(`N`은 비교할 모델 수입니다. 예를 들어 모델 3개를 선택하면 버튼에는 **Compare 3 models in the Playground**가 표시됩니다). 뷰가 열립니다.

이제 플레이그라운드에서 모델을 비교하고, [플레이그라운드에서 모델 사용해 보기](#try-a-model-in-the-playground)에 설명된 기능을 사용할 수 있습니다.

<Frame>
  <img src="https://mintcdn.com/wb-21fd5541/S0cRiDzxeODX77LU/weave/guides/integrations/imgs/inference-playground-compare.png?fit=max&auto=format&n=S0cRiDzxeODX77LU&q=85&s=293caa19a78ce3ab2030dab7bdaf2eb5" alt="Playground에서 비교할 여러 모델 선택" width="2114" height="1240" data-path="weave/guides/integrations/imgs/inference-playground-compare.png" />
</Frame>

<div id="access-the-compare-view-from-the-playground-tab">
  #### Playground 탭에서 Compare 뷰 열기
</div>

1. 왼쪽 사이드바에서 **Playground**를 선택합니다. Playground 채팅 UI가 표시됩니다.
2. LLM 드롭다운 목록에서 **Serverless Inference**에 마우스를 올립니다. 오른쪽에 사용 가능한 Serverless Inference 모델이 포함된 드롭다운이 표시됩니다.
3. 드롭다운에서 **Compare**를 선택합니다. **Inference** 탭이 표시됩니다.
4. 비교할 모델을 선택하려면 모델 카드의 아무 곳이나 클릭합니다(모델 이름 제외). 선택되면 모델 카드 테두리가 파란색으로 강조 표시됩니다.
5. 비교하려는 각 모델에 대해 step 4를 반복합니다.
6. 선택한 카드 중 아무 카드에서나 **Compare N models in the Playground** 버튼을 클릭합니다(`N`은 비교 중인 모델 수입니다. 예를 들어 모델 3개를 선택하면 버튼은 **Compare 3 models in the Playground**로 표시됩니다). 뷰가 열립니다.

이제 Playground에서 모델을 비교하고, [플레이그라운드에서 모델 사용해 보기](#try-a-model-in-the-playground)에 설명된 특성을 사용할 수 있습니다.

<div id="view-billing-and-usage-information">
  ### 결제 및 사용 정보 보기
</div>

조직 관리자는 W\&B UI에서 현재 Inference 크레딧 잔액, 사용 이력, 예정된 결제 정보(해당하는 경우)를 직접 확인할 수 있습니다.

1. W\&B UI에서 W\&B **Billing** 페이지로 이동합니다.
2. 오른쪽 하단에 Inference 결제 정보 카드가 표시됩니다. 여기에서 다음 작업을 수행할 수 있습니다.
   * Inference 결제 정보 카드에서 **View usage** 버튼을 클릭해 시간에 따른 사용량을 확인합니다.
   * 유료 플랜을 사용 중인 경우 예정된 Inference 요금을 확인합니다.

<Tip>
  [모델별 가격 세부 정보는 Inference pricing 페이지에서 확인하세요](https://wandb.ai/site/pricing/inference).
</Tip>

<div id="usage-information-and-limits">
  ## 사용 정보 및 제한 사항
</div>

다음 섹션에서는 지리적 제한, 동시성 한도, 가격을 포함한 중요한 사용 정보와 제한 사항을 설명합니다. 서비스를 사용하기 전에 이 내용을 숙지하세요.

<div id="geographic-restrictions">
  ### 지리적 제한
</div>

Inference 서비스는 지원되는 지역에서만 이용할 수 있습니다. 자세한 내용은 [서비스 약관](https://docs.coreweave.com/docs/policies/terms-of-service/terms-of-use#geographic-restrictions)을 참조하세요.

<div id="concurrency-limits">
  ### 동시성 제한
</div>

공정한 사용과 안정적인 성능을 보장하기 위해 Serverless Inference API는 사용자 및 프로젝트 수준에서 요청 속도 제한을 적용합니다. 이러한 제한은 다음과 같은 데 도움이 됩니다.

* 오용을 방지하고 API 안정성을 보호.
* 모든 사용자가 액세스할 수 있도록 보장.
* 인프라 부하를 효과적으로 관리.

요청 속도 제한을 초과하면 API는 `429 Concurrency limit reached for requests` 응답을 반환합니다. 이 오류를 해결하려면 동시에 전송하는 요청 수를 줄이세요.

<div id="pricing">
  ### 가격
</div>

모델 가격 정보는 [https://wandb.ai/site/pricing/inference](https://wandb.ai/site/pricing/inference)에서 확인하세요.

<div id="api-errors">
  ## API 오류
</div>

다음 표에는 Inference API가 반환할 수 있는 오류와 그 원인 및 권장 해결 방법이 나와 있습니다.

| Error Code | Message                                | Cause                                                 | Solution                                                 |
| ---------- | -------------------------------------- | ----------------------------------------------------- | -------------------------------------------------------- |
| 401        | 유효하지 않은 인증                             | 인증 자격 증명이 유효하지 않거나 W\&B 프로젝트 entity 또는 이름이 올바르지 않습니다. | 올바른 API 키를 사용 중인지, 그리고 W\&B 프로젝트 이름과 entity가 올바른지 확인하세요. |
| 403        | 국가, 지역 또는 영토가 지원되지 않음                  | 지원되지 않는 위치에서 API에 액세스하고 있습니다.                         | [지리적 제한](#geographic-restrictions)을 참조하세요.               |
| 429        | 요청의 동시성 한도에 도달함                        | 동시 요청이 너무 많습니다.                                       | 동시 요청 수를 줄이세요.                                           |
| 429        | 현재 할당량을 초과했습니다. 플랜 및 청구 Details를 확인하세요 | 크레딧이 부족하거나 월간 지출 한도에 도달했습니다.                          | 크레딧을 추가로 구매하거나 한도를 늘리세요.                                 |
| 500        | 요청을 처리하는 동안 서버에서 오류가 발생했습니다            | 내부 서버 오류입니다.                                          | 잠시 기다린 후 다시 시도하고, 문제가 지속되면 지원팀에 문의하세요.                   |
| 503        | 현재 엔진에 과부하가 걸려 있습니다. 나중에 다시 시도해 주세요    | 서버에 트래픽이 몰리고 있습니다.                                    | 잠시 후 요청을 다시 시도하세요.                                       |