现象
用 openai 1.40 的 Python SDK 批量生成三百条商品摘要,跑到一半开始抛 RateLimitError,HTTP 状态 429,错误体里写着 rate_limit_exceeded。代码里加了一秒的睡眠重试三次,仍然失败,任务只能中断重跑,已经成功的那部分还要重新花额度。
原因
限流同时看每分钟请求数和每分钟 token 数,长 prompt 很容易先撞 token 上限。服务端会在响应头里给 retry-after,单位是秒,固定睡一秒往往不够。另外用线程池并发打请求,瞬时并发超过配额,退避时所有线程又同时醒来,形成新一波尖峰,看起来就像一直失败。
解决步骤
第一步,把响应头读出来。捕获限流异常后取 retry-after,没有这个头就按 2 的幂退避,并加随机抖动,避免多个线程同一时刻重发。
import random, time, openai
client = openai.OpenAI()
try:
r = client.chat.completions.create(model="gpt-4o-mini",
messages=msgs, max_tokens=200)
except openai.RateLimitError as e:
wait = int(e.response.headers.get("retry-after", 2))
time.sleep(wait + random.uniform(0, 1))
第二步,压低并发。把线程池大小降到 4,单批请求之间留几十毫秒间隔;长文档先在本地压缩再送模型,减少 prompt 的 token 数,这比提高重试次数更有效。
第三步,做幂等记录。每条任务按 id 落库,成功的跳过,失败的下次补跑,避免整批重来。重试上限设三次,超过就进失败队列等人工处理。
验证
连续跑完三百条无中断,日志里 429 的次数少于总量的百分之五;把同一批任务再跑一遍,成功条目全部被跳过,只补跑失败部分,说明幂等和退避都生效了。
小结
429 不是靠加 sleep 解决的。读 retry-after、降并发、做幂等补跑,三件事配合,批量任务才能稳住不被限流打断。
