Giới hạn tốc độ và 429

3 nguyên nhân của 429

1. Tốc độ yêu cầu quá nhanh: Trong thời gian ngắn, mức đồng thời/QPS vượt quá gói hiện tại của tài khoản;
2. Thiếu hạn mức token: Đã dùng hết mức trần hạn mức do token được thiết lập;
3. Giới hạn tốc độ của mô hình upstream: Một số mô hình upstream bị tắc nghẽn, khi gateway đã tự động thử lại nhưng vẫn không khả dụng thì sẽ truyền lỗi xuống.

error.message trong response body sẽ cho biết nguyên nhân cụ thể.

Cách thử lại đúng

Lần thất bại 1 → đợi 1s + jitter ngẫu nhiên → thử lại
Lần thất bại 2 → đợi 2s + jitter ngẫu nhiên → thử lại
Lần thất bại 3 → đợi 4s + jitter ngẫu nhiên → thử lại, nếu vẫn thất bại thì cảnh báo

• Nhất định phải thêm jitter ngẫu nhiên, tránh nhiều client thử lại cùng nhịp gây hiệu ứng dây chuyền;
• Tác vụ hàng loạt nên dùng hàng đợi để kiểm soát đồng thời (ví dụ bắt đầu từ 5–10 luồng đồng thời, theo dõi tỷ lệ thành công rồi điều chỉnh);
• 429 do thiếu hạn mức sẽ không có tác dụng nếu thử lại, cần nạp thêm tiền hoặc tăng giới hạn token trước.

Giảm xác suất kích hoạt

• Sắp xếp các tác vụ hàng loạt sang khung giờ thấp điểm;
• Với tác vụ văn bản dài, gộp số lần gửi yêu cầu lại (một lần làm được nhiều việc hơn, thay vì gửi nhiều yêu cầu nhỏ với tần suất cao);
• Với các trường hợp có thể hạ cấp, cấu hình mô hình dự phòng; khi mô hình chính bị 429 thì tự động chuyển sang mô hình khác;
• Người dùng doanh nghiệp cần mức đồng thời cao hơn, vui lòng liên hệ CSKH qua console để yêu cầu tăng hạn mức.