tcp_tw_reuse 开了服务端 6 万 TIME_WAIT 还是降不下来怎么办

网关的 80 端口在晚高峰堆了 6.2 万条 TIME_WAIT,ip_loCal_port_range 只给了 2.8 万个口,新建连接开始零星报 cannot assign requested address,前端偶尔白屏。

第一反应是开 tcp_tw_reuse。改完盯了半小时,TIME_WAIT 数量一点没降,还是六万上下,等于白改。

翻内核文档才想明白,tw_reuse 只对主动发起连接的一方有效,还要求开启时间戳。我们这台是服务端,连接是 nginx 先发 FIN,属于被动关闭,走另一套回收逻辑,和这个参数没关系。

中间试过把 tcp_max_tw_buckets 从 26 万调到 3 万。数量确实降了,dmesg 立刻出现 time wait bucket table overflow,超出部分被直接清掉,下一个包进来对不上状态回 RST,用户侧看到的是连接被重置。

根在短连接。nginx 默认 keepalive_timeout 65 秒,比后端 60 秒长,空闲连接由 nginx 主动关,每关一条就攒一条 TIME_WAIT。改法是把顺序倒过来,让后端先关,nginx 只跟随。

具体做三件事:upstream 里加 keepalive 32,proxy_http_version 设 1.1,Connection 头置空。

upstream api {
    server 10.0.1.11:9000;
    keepalive 32;
}
proxy_http_version 1.1;
proxy_set_header Connection "";

空 Connection 头是关键。不写它,nginx 每个请求都会给上游发 close,连接池白建。压测对比过,加上这一行,复用率从 12% 涨到 96%。

观察三天,TIME_WAIT 峰值 9000 条,端口范围用掉不到三成。那套 tw_reuse 参数留着没删,它管的是出方向调第三方接口的部分,那边确实有用。

还有个小细节,tw_reuse 依赖时间戳,两端都开了才稳。机房里有台老设备关着 tcp_timestamps,出方向偶尔被拒,补上之后才彻底安静。

您可以还会对下面的文章感兴趣: