OpenAI API 批量调用一直返回 429,重试间隔怎么算才不被限流

429 不一定是调得太快,先分清 RPM 和 TPM

接口返回 429 时,响应体里通常写着 rate_limit_exceeded,但真正卡住你的可能不是同一条线。OpenAI 按每分钟请求数(RPM)和每分钟 token 数(TPM)双重限流,批处理长 prompt 的任务,每分钟可能只发出去 20 个请求,却因为单条几千 token 先把 TPM 打满;反过来高频短请求撞的多半是 RPM。区分方法看响应头:x-ratelimit-remaining-requests 归零是请求数超了,x-ratelimit-remaining-tokens 归零是 token 超了,x-ratelimit-reset-requests 告诉你还要等多久。

先用一条请求把当前额度读出来

排查阶段不要直接跑业务代码,单独发一条最小请求,确认账号此刻的剩余额度和重置时间。

curl -s -D - -o /dev/null https://api.openai.com/v1/chat/completions \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"gpt-4o-mini","messages":[{"role":"user","content":"hi"}]}' \
  | grep -i ratelimit

返回里的 retry-after 是服务端建议的等待秒数,优先级高于自己算的退避值。

指数退避必须带抖动,否则重试会同步

固定倍数退避的毛病是:所有 worker 在同一秒失败、同一秒重试,第二批请求又一起撞上去,错误率不降反升。常见做法是 base 乘 2 的 attempt 次方,再乘一个 0.5 到 1 的随机系数,同时给上限封顶,免得第八次重试等到天亮。

import random, time

def backoff_sleep(attempt, base=1.0, cap=60.0):
    delay = min(cap, base * (2 ** attempt))
    time.sleep(random.uniform(delay * 0.5, delay))

for attempt in range(5):
    resp = call_api()
    if resp.status_code != 429:
        break
    wait = int(resp.headers.get("retry-after", 0))
    if wait:
        time.sleep(wait)
    else:
        backoff_sleep(attempt)

这段代码有两个要点:优先尊重 retry-after,其次用随机区间把重试时刻打散。attempt 从 0 起算,退避序列大约是 1、2、4、8、16 秒,封顶 60 秒;五次仍失败就该把任务退回队列,而不是在一个进程里死磕。

并发数按 TPM 倒推,不要拍脑袋

账号 TPM 20 万、单条请求平均 2000 token,理论上限约每分钟 100 次,实际开 40 到 60 并发就够,剩下的余量要留给重试和突发。入口处用令牌桶限速,或者简单点:每 50 条提交后统一等到 reset 时间再发下一批。

哪些 429 加退避也没用

看响应体里的 code 字段:rate_limit_exceeded 才是真限流,insufficient_quota 是额度或账单问题,后者再退避也无解,得去后台充钱或者换 key。401 是 key 失效,403 多是地域或模型权限,500 是服务端异常,这三种重试毫无意义。

您可以还会对下面的文章感兴趣: