OpenAI SDK 1.40 遇到 429 只按 Retry-After 重试还是失败怎么改

现象

用 openai 1.40 的 Python SDK 批量生成三百条商品摘要,跑到一半开始抛 RateLimitError,HTTP 状态 429,错误体里写着 rate_limit_exceeded。代码里加了一秒的睡眠重试三次,仍然失败,任务只能中断重跑,已经成功的那部分还要重新花额度。

原因

限流同时看每分钟请求数和每分钟 token 数,长 prompt 很容易先撞 token 上限。服务端会在响应头里给 retry-after,单位是秒,固定睡一秒往往不够。另外用线程池并发打请求,瞬时并发超过配额,退避时所有线程又同时醒来,形成新一波尖峰,看起来就像一直失败。

解决步骤

第一步,把响应头读出来。捕获限流异常后取 retry-after,没有这个头就按 2 的幂退避,并加随机抖动,避免多个线程同一时刻重发。

import random, time, openai
client = openai.OpenAI()
try:
    r = client.chat.completions.create(model="gpt-4o-mini",
        messages=msgs, max_tokens=200)
except openai.RateLimitError as e:
    wait = int(e.response.headers.get("retry-after", 2))
    time.sleep(wait + random.uniform(0, 1))

第二步,压低并发。把线程池大小降到 4,单批请求之间留几十毫秒间隔;长文档先在本地压缩再送模型,减少 prompt 的 token 数,这比提高重试次数更有效。

第三步,做幂等记录。每条任务按 id 落库,成功的跳过,失败的下次补跑,避免整批重来。重试上限设三次,超过就进失败队列等人工处理。

验证

连续跑完三百条无中断,日志里 429 的次数少于总量的百分之五;把同一批任务再跑一遍,成功条目全部被跳过,只补跑失败部分,说明幂等和退避都生效了。

小结

429 不是靠加 sleep 解决的。读 retry-after、降并发、做幂等补跑,三件事配合,批量任务才能稳住不被限流打断。

您可以还会对下面的文章感兴趣: