速率限制与并发

区分两种限制复制小标题链接

RPM 是单位时间的请求数，并发是同时进行的请求数。长流式请求也会占用并发；增加客户端线程数不会增加服务端配额。

当前额度复制小标题链接

额度会受账号、分组、模型与服务配置影响。没有公布的上限不能视为无限；需要批量任务或提高额度时，先联系客服确认。此页不公布未确认的生产并发值。

处理 429复制小标题链接

读取 Retry-After 后再重试。没有该头时采用带随机抖动的指数退避，限制重试次数，并在客户端设置并发池。内容拒绝、无效 Key 和余额不足不应持续重试。

超时与取消复制小标题链接

为长任务设置合理的客户端读取超时；流式逐块消费，用户取消时及时关闭连接。已经收到内容时重放整个请求，可能产生重复输出与额外用量。