上周把一批商品标题改写任务从手动跑改成 12 个 worker 并发,模型用 gpt-4o-mini,跑到第 4 分钟开始整片报 error code 429,body 里写着 rate_limit_exceeded,Retry-After 给的是 20。最初的重试写得很朴素:捕获到 429 就 sleep 3 秒再发一次。结果 12 个 worker 在同一秒撞上限流,也在同一秒醒来,第二轮直接把每分钟 429 的次数从 6 推到 40 多,队列越积越长。
问题不在重试次数,在所有客户端共享同一个时间点。改成指数退避加全抖动,base 取 1.2 秒,上限 32 秒,每次实际等待在 0 到计算值之间随机取,12 个 worker 的唤醒时间就被拉开了。同时把并发从 12 降到 6,并且读 Retry-After 时取 max(Retry-After, 退避值),服务端说等多久就至少等多久,不要自作聪明提前。
代码大概是这个形状,jitter 那一行不能省:
def backoff(attempt, retry_after):
raw = 1.2 * (2 ** attempt)
delay = random.uniform(0, min(raw, 32))
if retry_after:
delay = max(delay, float(retry_after))
return delay
还试过一个偷懒办法:把 429 直接丢进死信队列,过一小时统一回放。第二天凌晨三百多条任务同时回放,又是一轮 429 高峰,等于把白天的坑挪到夜里。重试必须有节奏,攒批回放不解决问题。
改完观察了两天,429 从每分钟 40 次降到 2 次以内,队列积压消失,P95 耗时反而比原来低 300 毫秒。有个细节要记一下:只挂 tenacity 的 wait_exponential 而不加 wait_random 是没用的,退避曲线同步,12 个 worker 依旧一起回来。判断有没有雪崩别盯着总重试次数,看同一秒内进来的 429 数量,这个值掉下去才算真修好。
