conntrack 表满后 TIME_WAIT 3 万条 | 短连接怎么收敛

下午三点开始,短链服务日志里冒出大量 Connect timeout,ss 看不出异常,load 也不高。dmesg 里有几行 nf_conntrack: table full, dropping packet,时间戳正好对上。

查计数,nf_conntrack_count 和 nf_conntrack_max 都是 65536,已经顶到上限。插入失败之后内核直接丢包,TCP 层看到的是 SYN 发出去没回应,重传三次才报错,用户侧就是三秒以上的等待。

为什么涨这么快。业务是短连接,每个请求一条 TCP,连接结束以后 conntrack 条目还要挂 120 秒才回收,TIME_WAIT 也堆在同一张表里。按 800 QPS 算,稳态就是 9.6 万条,早就超了。

先扩容再优化。max 从 65536 提到 262144,hashsize 设 65536,tcp_timeout_time_wait 从 120 降到 30。每条大约占 300 字节,26 万条约 300MB 内存,16G 的机器扛得住。

然后从源头减。上游改连接池,短连接变长连接,QPS 没变但新建连接数降了 90%。不需要跟踪的内网监控上报走 NOTRACK,直接绕开 conntrack。

hashsize 别设太大,取 max 的四分之一就够,桶太多反而让内存白占。改完用 conntrack -C 复核一遍条目总数。

验证盯三件事,count 峰值、插入失败计数、dmesg 有没有新记录:

cat /proc/sys/net/netfilter/nf_conntrack_count
conntrack -S | grep -E 'insert_failed|drop'
sysctl -w net.netfilter.nf_conntrack_max=262144

一周后峰值 count 5.8 万,占上限 22%,insert_failed 为 0,dmesg 干净。定时任务里加了一条,count 超过 70% 就发告警。

您可以还会对下面的文章感兴趣: