调用 OpenAI 接口报 429 rate_limit_exceeded 怎么处理

现象:脚本跑到一半开始连续 429

批量处理数据时,前几十条正常,之后接口持续返回 429 Too Many Requests,错误体里 type 是 rate_limit_exceeded。把并发从 20 降到 5 有所缓解,但仍然偶发失败。

原因:请求速率和 token 速率是两套限制

  • RPM 超限。每分钟请求数超过账号配额,短时间并发最容易撞上。
  • TPM 超限。每分钟 token 数超限,长文本一次就吃掉大半额度,报错同样是 429。
  • 并发突发。瞬时并发没有排队,前一批还没返回就继续发。
  • 余额问题也会返回 429,但 type 是 insufficient_quota,这种情况重试永远不会成功。

解决步骤

第一步,先看错误类型,区分限流和欠费,前者可重试,后者要处理账号。

print(resp.status_code,
      resp.headers.get("x-ratelimit-remaining-requests"),
      resp.headers.get("retry-after"))

第二步,加指数退避和随机抖动,避免所有 worker 同一时刻重试造成二次拥堵:

for i in range(5):
    try:
        return call_api(text)
    except RateLimitError:
        time.sleep(min(2 ** i, 30) + random.random())

第三步,用信号量限制并发,把同时在飞的请求压到配额以下,剩下的排队等待,比失败重试更省额度。并发上限按 RPM / 60 × 平均耗时 估算,而不是凭感觉写 10 或 20。

第四步,按 token 估算分批。请求前用 tiktoken 算长度,把长文档切片,单次控制在配额的三分之一以内,留出波动空间。

第五步,官方 SDK 的重试要显式打开,max_retries 默认只覆盖连接错误,限流场景建议自己包一层,同时记录失败样本便于补跑。

小结

429 要先看 type 再谈重试。限流用退避加并发控制解决,欠费只能换额度。把限流当成常态设计,脚本才能跑完长任务。

工程上更稳的做法是把请求做成生产者消费者:一个队列按配额匀速出队,多个 worker 只负责执行,失败项单独落到失败表,跑完再补一次。这样即使中途触发限流,进度也不会丢,还能顺带统计每千条请求的实际消耗,反过来校准批大小和并发数。另外要注意 429 和超时的区别——超时重试可能造成重复计费,而 429 是明确的未执行,重试是安全的。

您可以还会对下面的文章感兴趣: