200 并发打接口半数 429 连接池 max_connections 实测怎么定

陆零云 30 0
压测脚本 200 个线程同时打 OpenAI 兼容接口,模型 gpt-4o-mini,跑 1000 个请求。结果一半 429,日志里全是 rate_limit_exceeded,另外还有几十条 Connection pool is full, discarding connection 的警告。 先看连接池。requests 的 Session 默认 pool_connections 和 pool_maxsize 都是 10,200 个线程共用一个 Ses...

429 撞上 200 个并发同时重试 指数退避抖动怎么写

陆零云 35 0
上周把一批商品标题改写任务从手动跑改成 12 个 worker 并发,模型用 gpt-4o-mini,跑到第 4 分钟开始整片报 error code 429,body 里写着 rate_limit_exceeded,Retry-After 给的是 20。最初的重试写得很朴素:捕获到 429 就 sleep 3 秒再发一次。结果 12 个 worker 在同一秒撞上限流,也在同一秒醒来,第二轮直接把每分钟 429 的次数从 6 推到 40 多,队列越积越长...

OpenAI API 批量调用一直返回 429,重试间隔怎么算才不被限流

陆零云 40 0
429 不一定是调得太快,先分清 RPM 和 TPM 接口返回 429 时,响应体里通常写着 rate_limit_exceeded,但真正卡住你的可能不是同一条线。OpenAI 按每分钟请求数(RPM)和每分钟 token 数(TPM)双重限流,批处理长 prompt 的任务,每分钟可能只发出去 20 个请求,却因为单条几千 token 先把 TPM 打满;反过来高频短请求撞的多半是 RPM。区分方法看响应头:x-ratelimit-remaining-...