UDP 会话 30 秒被清 会议每小时断 3.2 次 | conntrack 怎么查

陆零云 28 0
自建视频会议服务,投诉集中在跨运营商的那批人,说每隔半分钟画面卡一下,声音断三秒。埋点统计每人每小时断流 3.2 次,同一间屋里的内网用户一次都没有。 第一反应是 UDP 丢包。两端抓包对比,客户端一直在发包,服务端有二十几秒完全收不到,然后突然恢复。丢包不会这么整齐,更像是会话被谁清了。 在出口防火墙上用 conntrack 过滤这个端口,表项建起来之后正好 30 秒消失。默认 nf_conntrack_udp_timeout 就是 30 秒,流式媒体走...

conntrack 表满后 TIME_WAIT 3 万条 | 短连接怎么收敛

陆零云 42 0
下午三点开始,短链服务日志里冒出大量 connect timeout,ss 看不出异常,load 也不高。dmesg 里有几行 nf_conntrack: table full, dropping packet,时间戳正好对上。 查计数,nf_conntrack_count 和 nf_conntrack_max 都是 65536,已经顶到上限。插入失败之后内核直接丢包,TCP 层看到的是 SYN 发出去没回应,重传三次才报错,用户侧就是三秒以上的等待。 为...

内核 5.4 反复报 nf_conntrack table full 跟踪表上限调到多少

陆零云 37 0
现象 业务高峰期 dmesg 里不断刷 nf_conntrack: table full, dropping packet,新建立的连接有三分之一直接失败,老连接不受影响。机器 CPU 和带宽都很空闲,看起来不像是资源不够,重启后能好一阵子又复发。 原因 netfilter 的连接跟踪表有固定容量,默认 nf_conntrack_max 通常是 65536,每条长连接、每个 NAT 映射都会占用一条记录。高并发短连接服务、或者容器网络里大量 veth 转发...