限流与 429

429 的三种原因

1. 请求速率过快:短时间内并发/QPS 超过当前账户档位;
2. 令牌额度不足:令牌设置的额度上限已用完;
3. 上游模型限流:个别模型上游拥堵,网关已自动重试仍不可用时向下透传。

响应体的 error.message 会说明具体原因。

正确的重试姿势

第 1 次失败 → 等 1s + 随机抖动 → 重试
第 2 次失败 → 等 2s + 随机抖动 → 重试
第 3 次失败 → 等 4s + 随机抖动 → 重试,仍失败则告警

• 一定要加随机抖动,避免多个客户端同一节拍重试造成雪崩;
• 批量任务用队列控制并发(如 5–10 并发起步,观察成功率再调);
• 额度不足类 429 重试无效,需先充值或调高令牌上限。

降低触发概率

• 把大批量任务错峰到低峰时段;
• 长文本任务合并请求次数(一次多做点事,而不是高频小请求);
• 对可降级场景配置备选模型,主力模型 429 时自动切换;
• 需要更高并发档位的企业用户,请通过控制台联系客服提额。