Skip to main content

Documentation Index

Fetch the complete documentation index at: https://docs.wandb.ai/llms.txt

Use this file to discover all available pages before exploring further.

“엔진이 현재 과부하 상태입니다. 나중에 다시 시도해 주세요”라는 메시지와 함께 503 오류가 발생하면, Serverless Inference 서버에 트래픽이 몰려 현재 요청을 처리할 수 없다는 의미입니다.

​
이런 현상이 발생하는 이유

수요가 많은 시기에는 Inference 엔진이 일시적으로 과부하 상태가 될 수 있습니다. 이는 일시적인 현상으로, 보통 트래픽이 잦아들면 저절로 해결됩니다.

​
할 수 있는 작업

  1. 잠시 기다린 후 다시 시도
    • 요청을 다시 시도하기 전에 몇 초 정도 기다리세요
    • 혼잡을 더 악화시키지 않도록 지수 백오프를 사용하세요
  2. 요청 분산
    • 요청을 많이 보내는 경우 시간 간격을 두고 분산해서 보내는 것을 고려하세요
    • 트래픽 급증을 완화할 수 있도록 요청 대기열을 구현하세요
Server Errors