429 撞上 200 个并发同时重试 指数退避抖动怎么写

陆零云 35 0
上周把一批商品标题改写任务从手动跑改成 12 个 worker 并发,模型用 gpt-4o-mini,跑到第 4 分钟开始整片报 error code 429,body 里写着 rate_limit_exceeded,Retry-After 给的是 20。最初的重试写得很朴素:捕获到 429 就 sleep 3 秒再发一次。结果 12 个 worker 在同一秒撞上限流,也在同一秒醒来,第二轮直接把每分钟 429 的次数从 6 推到 40 多,队列越积越长...