Skip to main content
서버 오류는 Serverless Inference 서비스에 일시적인 문제가 있음을 의미합니다. 이 페이지에서는 이러한 오류를 파악하고, 클라이언트 코드에서 이를 적절히 처리하는 방법과 언제 지원팀에 문의해야 하는지 안내합니다.

​
오류 유형

다음 섹션에서는 요청 자체의 문제가 아니라 일시적인 서버 측 문제를 나타내는 오류 코드를 설명합니다.

​
500 내부 서버 오류

이 오류는 서버 측에서 일시적으로 발생하는 내부 오류입니다. 응답 메시지는 “서버가 요청을 처리하는 중 오류가 발생했습니다.”입니다.

​
503 서비스 과부하

서비스에 트래픽이 많이 몰리고 있습니다. 응답 메시지는 다음과 같습니다: “엔진이 현재 과부하 상태이므로, 나중에 다시 사용해 보세요.”

​
서버 오류 처리

이러한 오류는 일반적으로 일시적이므로, 다음 기법을 사용하면 재시도하기 전에 서비스가 복구할 시간을 확보할 수 있습니다.
  1. 재시도하기 전에 기다리세요. 다음 대기 시간을 사용하세요:
    • 500 오류: 30~60초 기다리세요.
    • 503 오류: 60~120초 기다리세요.
  2. 지수 백오프를 사용하세요. 
    import time
import openai

def call_with_retry(client, messages, model, max_retries=5):
    for attempt in range(max_retries):
        try:
            return client.chat.completions.create(
                model=model,
                messages=messages
            )
        except Exception as e:
            if "500" in str(e) or "503" in str(e):
                if attempt < max_retries - 1:
                    wait_time = min(60, (2 ** attempt))
                    time.sleep(wait_time)
                else:
                    raise
            else:
                raise
  3. 적절한 타임아웃을 설정하세요. 다음과 같이 조정하세요:
    • HTTP 클라이언트의 타임아웃 값을 늘리세요.
    • 더 나은 처리를 위해 비동기 오퍼레이션을 고려하세요.

​
지원팀에 문의하기

재시도와 백오프로도 문제가 해결되지 않으면, 팀에서 추가로 조사할 수 있도록 지원팀에 문의하세요. 다음과 같은 경우 지원팀에 문의하세요:
  • 오류가 10분 이상 지속되는 경우
  • 특정 시간대에 실패가 반복되는 경우
  • 오류 메시지에 추가 세부 정보가 포함된 경우
지원팀에 문의할 때는 다음 정보를 제공하세요:
  • 오류 메시지 및 코드
  • 오류가 발생한 시간
  • 코드 스니펫(API 키 제거)
  • W&B entity 및 프로젝트 이름
Inference