requests 设了 timeout 还是卡 300 秒:DNS 解析和连接池谁在拖

Python 3.11 加 requests 2.31.0,对接一个查询接口,timeout=(3.05, 27) 写在封装函数里。周六告警说脚本跑了 300 秒才抛 ConnectionError,日志里两行时间戳差了整整五分钟,中间没有任何重试记录。

第一反应是 DNS。用 faulthandler.dump_traceback_later(60, exit=True) 挂上去复现,栈停在 socket.getaddrinfo 的只有一次,其余几次都停在 urllib3 的 read 上。域名解析确实不归 timeout 管,但这次的问题不在它。

抓包看清楚了:服务端每隔 20 秒吐一个字节,27 秒的读超时永远等不到,连接被一直吊着,直到网关 300 秒主动断开。timeout 里的 read 是单次 socket 读的间隔,不是整个请求的总时长,服务端慢速滴水就能把它绕过去。

试过把 timeout 改成 (3.05, 5),可正常的慢接口要返回 8 秒,直接被掐断,误杀了一批请求。也试过 socket.setdefaulttimeout,对已经建立的连接不起作用。

最后改成 stream=True 加自算总预算:循环 iter_content(1024) 时用 time.monotonic() 和起始时间比对,超过 15 秒就 close 并抛自定义异常。读间隔仍保留 27 秒做兜底,两层各管一段。

确认方式:本地起一个每 20 秒发 1 字节的测试服务,旧代码 300 秒才断,新代码 15 秒断且连接正常释放;再把正常接口的 2000 次调用跑一遍,P99 从 310 毫秒回到 96 毫秒。

with requests.get(url, stream=True, timeout=(3, 27)) as r:
    deadline = time.monotonic() + 15
    for chunk in r.iter_content(1024):
        if time.monotonic() > deadline:
            raise TimeoutError("total budget exceeded")

您可以还会对下面的文章感兴趣: