Skip to main content
Cette page explique pourquoi Serverless Inference renvoie des erreurs de limite de débit 429 et comment les résoudre afin que vos requêtes aboutissent sans dépasser les limites de concurrence autorisées. Les erreurs de limite de débit (429) se produisent lorsque vous dépassez les limites de concurrence. Erreur : “Limite de concurrence atteinte pour les requêtes” Solution : Pour résoudre cette erreur, effectuez l’une des actions suivantes :
  • Réduisez le nombre de requêtes parallèles.
  • Ajoutez des temporisations entre les requêtes.
  • Implémentez un backoff exponentiel.
Remarque : les limites de débit s’appliquent à chaque projet W&B.

​
Bonnes pratiques pour éviter les limites de débit

Les pratiques suivantes aident votre application à respecter les limites de concurrence et à se rétablir correctement lorsqu’elle atteint ces limites.
  • Mettez en place une logique de nouvelle tentative avec backoff exponentiel : Le backoff espace les nouvelles tentatives afin que les réponses 429 transitoires se résorbent avant la tentative suivante. 
    import time

def retry_with_backoff(func, max_retries=3):
    for i in range(max_retries):
        try:
            return func()
        except Exception as e:
            if "429" in str(e) and i < max_retries - 1:
                time.sleep(2 ** i)
            else:
                raise
  • Utilisez le traitement par lots plutôt que des requêtes parallèles.
  • Surveillez votre utilisation sur la page Billing de W&B.

​
Plafonds de dépenses par défaut

Les comptes ont également des plafonds de dépenses par défaut qui limitent l’utilisation globale de l’Inférence :
  • Comptes Pro : $6,000 par mois
  • Comptes Enterprise : $700,000 par an
Contactez votre responsable de compte ou l’assistance pour modifier les limites.
Inférence