压测脚本 200 个线程同时打 OpenAI 兼容接口,模型 gpt-4o-mini,跑 1000 个请求。结果一半 429,日志里全是 rate_limit_exceeded,另外还有几十条 Connection pool is full, discarding connection 的警告。
先看连接池。requests 的 Session 默认 pool_connections 和 pool_maxsize 都是 10,200 个线程共用一个 Session,多出来的连接用完就丢,每次都要重新握手,TLS 就要 80 毫秒。
把 pool_maxsize 调到 50,pool_block 设 True,握手次数降下来了,429 没少。说明瓶颈不在本地,在服务端的 RPM 限制。
抓响应头,x-ratelimit-limit-requests 是 500,按分钟算,也就是每秒 8 个多一点。200 并发打过去,前 8 个成功,后面全被拒,成功率 51% 已经算上重试。
改成令牌桶,全局限速 7 请求每秒,并发从 200 降到 40,连接池 40 对齐。测下来 1000 个请求 2 分 22 秒跑完,429 是 0,P95 延迟 1.9 秒。
试过直接加 10 次指数退避,不做限速。重试风暴把 429 放大成三倍,跑完要 11 分钟,日志里全是 Retry-After: 1。退避只能兜底,不能当限流用。
连接池这边还有个细节,pool_block 设 True 之后拿不到连接会阻塞,必须配 timeout,我用 30 秒,否则线程会一直挂着,进程退不出去。
最终配置是 40 并发、池 40、全局限速 7/s、失败重试 3 次带抖动。同样的 200 并发入口保留,排队在本地做,外面看是慢一点,但不再有一半请求直接失败。
import requests
from requests.adapters import HTTPAdapter
s = requests.Session()
ad = HTTPAdapter(pool_connections=40, pool_maxsize=40,
max_retries=0, pool_block=True)
s.mount("https://", ad)
# 全局令牌桶 7 rps 在调用前 acquire 