429 不一定是调得太快,先分清 RPM 和 TPM
接口返回 429 时,响应体里通常写着 rate_limit_exceeded,但真正卡住你的可能不是同一条线。OpenAI 按每分钟请求数(RPM)和每分钟 token 数(TPM)双重限流,批处理长 prompt 的任务,每分钟可能只发出去 20 个请求,却因为单条几千 token 先把 TPM 打满;反过来高频短请求撞的多半是 RPM。区分方法看响应头:x-ratelimit-remaining-requests 归零是请求数超了,x-ratelimit-remaining-tokens 归零是 token 超了,x-ratelimit-reset-requests 告诉你还要等多久。
先用一条请求把当前额度读出来
排查阶段不要直接跑业务代码,单独发一条最小请求,确认账号此刻的剩余额度和重置时间。
curl -s -D - -o /dev/null https://api.openai.com/v1/chat/completions \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"gpt-4o-mini","messages":[{"role":"user","content":"hi"}]}' \
| grep -i ratelimit
返回里的 retry-after 是服务端建议的等待秒数,优先级高于自己算的退避值。
指数退避必须带抖动,否则重试会同步
固定倍数退避的毛病是:所有 worker 在同一秒失败、同一秒重试,第二批请求又一起撞上去,错误率不降反升。常见做法是 base 乘 2 的 attempt 次方,再乘一个 0.5 到 1 的随机系数,同时给上限封顶,免得第八次重试等到天亮。
import random, time
def backoff_sleep(attempt, base=1.0, cap=60.0):
delay = min(cap, base * (2 ** attempt))
time.sleep(random.uniform(delay * 0.5, delay))
for attempt in range(5):
resp = call_api()
if resp.status_code != 429:
break
wait = int(resp.headers.get("retry-after", 0))
if wait:
time.sleep(wait)
else:
backoff_sleep(attempt)
这段代码有两个要点:优先尊重 retry-after,其次用随机区间把重试时刻打散。attempt 从 0 起算,退避序列大约是 1、2、4、8、16 秒,封顶 60 秒;五次仍失败就该把任务退回队列,而不是在一个进程里死磕。
并发数按 TPM 倒推,不要拍脑袋
账号 TPM 20 万、单条请求平均 2000 token,理论上限约每分钟 100 次,实际开 40 到 60 并发就够,剩下的余量要留给重试和突发。入口处用令牌桶限速,或者简单点:每 50 条提交后统一等到 reset 时间再发下一批。
哪些 429 加退避也没用
看响应体里的 code 字段:rate_limit_exceeded 才是真限流,insufficient_quota 是额度或账单问题,后者再退避也无解,得去后台充钱或者换 key。401 是 key 失效,403 多是地域或模型权限,500 是服务端异常,这三种重试毫无意义。
