속도 제한과 429
429의 세 가지 원인
- 요청 속도가 너무 빠름: 단시간 내 동시 요청/QPS가 현재 계정 등급을 초과한 경우;
- 토큰 한도 부족: 토큰에 설정된 한도 상한이 모두 소진된 경우;
- 업스트림 모델 속도 제한: 일부 모델의 업스트림이 혼잡하여, 게이트웨이가 자동 재시도를 해도 사용 불가 시 하위로 전달되는 경우.
응답 본문의 error.message에서 구체적인 원인을 확인할 수 있습니다.
올바른 재시도 방법
첫 번째 실패 → 1s 대기 + 랜덤 지터 → 재시도두 번째 실패 → 2s 대기 + 랜덤 지터 → 재시도세 번째 실패 → 4s 대기 + 랜덤 지터 → 재시도, 여전히 실패 시 알림 발송- 반드시 랜덤 지터를 추가하여, 여러 클라이언트가 동일한 타이밍에 재시도하여 발생하는 연쇄 장애(Thundering Herd)를 방지;
- 대량 작업은 큐를 사용하여 동시성을 제어(예: 동시 5–10개로 시작하여 성공률을 확인한 후 조정);
- 한도 부족으로 인한 429는 재시도가 무효이며, 먼저 충전하거나 토큰 한도를 높여야 합니다.
발생 확률 낮추기
- 대량 작업은 트래픽이 적은 시간대로 분산;
- 긴 텍스트 작업은 요청 횟수를 병합(한 번에 더 많은 작업을 처리하고, 고빈도 소규모 요청은 지양);
- 다운그레이드 가능한 시나리오에 대해 대체 모델을 설정하여, 주력 모델이 429 발생 시 자동 전환;
- 더 높은 동시성 등급이 필요한 기업 사용자는 콘솔을 통해 고객 서비스에 문의하여 한도 증가를 요청하세요.