陆零云
28
0
自建视频会议服务,投诉集中在跨运营商的那批人,说每隔半分钟画面卡一下,声音断三秒。埋点统计每人每小时断流 3.2 次,同一间屋里的内网用户一次都没有。
第一反应是 UDP 丢包。两端抓包对比,客户端一直在发包,服务端有二十几秒完全收不到,然后突然恢复。丢包不会这么整齐,更像是会话被谁清了。
在出口防火墙上用 conntrack 过滤这个端口,表项建起来之后正好 30 秒消失。默认 nf_conntrack_udp_timeout 就是 30 秒,流式媒体走...
陆零云
42
0
下午三点开始,短链服务日志里冒出大量 connect timeout,ss 看不出异常,load 也不高。dmesg 里有几行 nf_conntrack: table full, dropping packet,时间戳正好对上。
查计数,nf_conntrack_count 和 nf_conntrack_max 都是 65536,已经顶到上限。插入失败之后内核直接丢包,TCP 层看到的是 SYN 发出去没回应,重传三次才报错,用户侧就是三秒以上的等待。
为...
陆零云
37
0
现象
业务高峰期 dmesg 里不断刷 nf_conntrack: table full, dropping packet,新建立的连接有三分之一直接失败,老连接不受影响。机器 CPU 和带宽都很空闲,看起来不像是资源不够,重启后能好一阵子又复发。
原因
netfilter 的连接跟踪表有固定容量,默认 nf_conntrack_max 通常是 65536,每条长连接、每个 NAT 映射都会占用一条记录。高并发短连接服务、或者容器网络里大量 veth 转发...