이런 문제가 발생하는 이유
- 올바르지 않은 모델 ID: 요청에 포함된 모델 이름 또는 경로에 오타가 있거나 형식이 잘못되었습니다.
- W&B Inference에서 모델을 사용할 수 없음: 다른 공급자에서 호스팅하는 모든 모델을 W&B Inference API를 통해 사용할 수 있는 것은 아닙니다. 요청한 모델이 아직 온보딩되지 않았을 수 있습니다.
- 잘못된 base URL 사용: 다른 공급자의 Endpoint를 가리키면서 W&B API 키를 사용하면 모델 ID가 올바르게 확인되지 않을 수 있습니다.
- 모델이 제거됨: 이전에 사용 가능했던 모델이 사용 중단되었거나 제거되었을 수 있습니다.
할 수 있는 작업
-
모델 ID 확인
- 사용 가능한 모델에서 정확한 모델 ID를 확인하세요.
- 모델 ID는 대소문자를 구분하며, 일반적으로
provider/model-name형식을 사용합니다(예:meta-llama/Llama-3.3-70B-Instruct).
-
base URL 확인
- W&B Inference의 base URL은
https://api.inference.wandb.ai/v1입니다. 클라이언트가 Multi-tenant Cloud API 호스트(https://api.wandb.ai)나 다른 공급자의 엔드포인트가 아니라 이 호스트를 사용하고 있는지 확인하세요. 사용량 추적을 위해 일부 클라이언트는 list models API 레퍼런스에 나와 있는 것처럼team/project로 설정한 선택 사항인OpenAI-Project헤더도 전송합니다.
- W&B Inference의 base URL은
-
새 모델에 대한 액세스 요청
- 필요한 모델이 현재 지원되지 않는 경우, W&B 지원팀에 문의하여 추가를 요청하세요.
서버 오류