TIME_WAIT 六万条连接 端口耗尽后 tcp_tw_reuse 怎么开

网关机器上 ss -s 打出 timewait 61284,本地端口从 28000 到 61000 全线占满,新请求直接报 Cannot assign requested address。业务是短连接调上游 HTTP 接口,QPS 大概 1200。

第一反应是开 tcp_tw_reuse,先看现状。

ss -s
TCP: 61284 (estab 1180 closed 59870 timewait 61284)
sysctl net.ipv4.tcp_tw_reuse net.ipv4.tcp_timestamps
net.ipv4.tcp_tw_reuse = 0
net.ipv4.tcp_timestamps = 1

端口范围已经是 1024 到 65535。把 reuse 改成 1 之后,TIME_WAIT 从六万降到两万出头,端口够用了,但这只是把症状按住。

为什么这么说。tw_reuse 只对主动发起连接的一方有效,依赖时间戳单调,对端如果关了 timestamps 就不成立。tw_recycle 千万别碰,NAT 后面时间戳不单调,正常连接会被判成 PAWS 错误丢掉。我在测试环境复现过,表现是偶发连接重置,查了两天才定位到这一行。

根子上是每条请求都新建 TCP。上游是内网服务,完全可以用长连接。改 upstream 加 keepalive 64,proxy_http_version 设 1.1,Connection 头清空。

改完 TIME_WAIT 稳定在 3000 以内,端口占用降到 5%。还有一个细节,keepalive 数量要小于 upstream 总连接上限,否则空闲连接被挤掉,等于没配。重启后看 ss 里到上游的 ESTAB 数量,稳定在 60 多才算生效。

如果上游确实不支持长连接,再去动端口范围,把 ip_local_port_range 拉到 10240 65535,配合 tw_reuse,能撑到 3000 QPS 左右。再往上就得加机器或者做连接池了。

您可以还会对下面的文章感兴趣: