Limitation de débit et 429

Les trois causes du 429

1. La vitesse des requêtes est trop élevée : le niveau de concurrence/QPS sur une courte période dépasse le palier actuel du compte ;
2. Le quota de jetons est insuffisant : la limite supérieure du quota configuré pour les jetons a été atteinte ;
3. Limitation de débit du modèle amont : certains modèles amont sont engorgés ; lorsque la passerelle a déjà automatiquement réessayé mais reste indisponible, l’erreur est transmise en aval.

Le champ error.message du corps de réponse indiquera la cause spécifique.

La bonne façon de réessayer

Échec n° 1 → attendre 1s + jitter aléatoire → réessayer
Échec n° 2 → attendre 2s + jitter aléatoire → réessayer
Échec n° 3 → attendre 4s + jitter aléatoire → réessayer, puis alerter en cas d’échec persistant

• Ajoutez impérativement un jitter aléatoire pour éviter qu’un grand nombre de clients réessaient au même rythme et provoquent un effet domino ;
• Pour les tâches en lot, contrôlez la concurrence avec une file d’attente (par exemple, commencer avec 5 à 10 requêtes concurrentes, puis ajuster en observant le taux de réussite) ;
• Les 429 dus à un quota insuffisant ne peuvent pas être résolus par des réessais ; il faut d’abord recharger le compte ou augmenter le plafond de jetons.

Réduire la probabilité de déclenchement

• Décalez les gros traitements par lots vers les heures creuses ;
• Pour les tâches sur de longs textes, regroupez le nombre de requêtes (faire plus en une seule fois plutôt que multiplier les petites requêtes fréquentes) ;
• Configurez des modèles de secours pour les scénarios dégradables, afin de basculer automatiquement lorsque le modèle principal renvoie un 429 ;
• Les utilisateurs entreprise ayant besoin d’un niveau de concurrence plus élevé doivent contacter le service client via la console pour demander une augmentation de quota.