陆零云
32
0
支付回调服务凌晨遇到上游机房光缆被挖,按常理半分钟内就该报警,实际是十三分钟后才看到接口失败。这段时间里 200 个回调线程全挂住,连接池被打空,正常订单跟着排队。
应用日志里没有异常,只有一串正常的 GC 输出。ss -ti 看那条卡住的连接,retrans 计数器一路涨到 15,unacked 停在 1,说明数据发出去了没人确认,内核还在死等。
查 tcp_retries2,值是 15。这是重传次数,按 RTO 指数退避累加,1 秒、2 秒、4 秒这样...
陆零云
42
0
下午三点开始,短链服务日志里冒出大量 connect timeout,ss 看不出异常,load 也不高。dmesg 里有几行 nf_conntrack: table full, dropping packet,时间戳正好对上。
查计数,nf_conntrack_count 和 nf_conntrack_max 都是 65536,已经顶到上限。插入失败之后内核直接丢包,TCP 层看到的是 SYN 发出去没回应,重传三次才报错,用户侧就是三秒以上的等待。
为...
陆零云
38
0
网关机器上 ss -s 打出 timewait 61284,本地端口从 28000 到 61000 全线占满,新请求直接报 cannot assign requested address。业务是短连接调上游 HTTP 接口,QPS 大概 1200。
第一反应是开 tcp_tw_reuse,先看现状。
ss -s
TCP: 61284 (estab 1180 closed 59870 timewait 61284)
sysctl net.ipv4.tcp_t...
陆零云
37
0
现象
业务高峰期 dmesg 里不断刷 nf_conntrack: table full, dropping packet,新建立的连接有三分之一直接失败,老连接不受影响。机器 CPU 和带宽都很空闲,看起来不像是资源不够,重启后能好一阵子又复发。
原因
netfilter 的连接跟踪表有固定容量,默认 nf_conntrack_max 通常是 65536,每条长连接、每个 NAT 映射都会占用一条记录。高并发短连接服务、或者容器网络里大量 veth 转发...
陆零云
38
0
现象
压测一个 HTTP 接口,QPS 推到 3000 左右时客户端开始报 Cannot assign requested address,请求批量失败。登录机器看 ss -s,TIME_WAIT 显示 5 万多,本地随机端口已经所剩无几,服务重启后能撑几分钟又复现。
原因
短连接由客户端主动关闭时,socket 要保留 2MSL 也就是 60 秒才能释放,这期间端口不能复用。默认 ip_local_port_range 是 32768 到 60999,可...