tcp_retries2 默认 15 次断网后 924 秒才报错怎么调

陆零云 32 0
支付回调服务凌晨遇到上游机房光缆被挖,按常理半分钟内就该报警,实际是十三分钟后才看到接口失败。这段时间里 200 个回调线程全挂住,连接池被打空,正常订单跟着排队。 应用日志里没有异常,只有一串正常的 GC 输出。ss -ti 看那条卡住的连接,retrans 计数器一路涨到 15,unacked 停在 1,说明数据发出去了没人确认,内核还在死等。 查 tcp_retries2,值是 15。这是重传次数,按 RTO 指数退避累加,1 秒、2 秒、4 秒这样...

conntrack 表满后 TIME_WAIT 3 万条 | 短连接怎么收敛

陆零云 42 0
下午三点开始,短链服务日志里冒出大量 connect timeout,ss 看不出异常,load 也不高。dmesg 里有几行 nf_conntrack: table full, dropping packet,时间戳正好对上。 查计数,nf_conntrack_count 和 nf_conntrack_max 都是 65536,已经顶到上限。插入失败之后内核直接丢包,TCP 层看到的是 SYN 发出去没回应,重传三次才报错,用户侧就是三秒以上的等待。 为...

TIME_WAIT 六万条连接 端口耗尽后 tcp_tw_reuse 怎么开

陆零云 38 0
网关机器上 ss -s 打出 timewait 61284,本地端口从 28000 到 61000 全线占满,新请求直接报 cannot assign requested address。业务是短连接调上游 HTTP 接口,QPS 大概 1200。 第一反应是开 tcp_tw_reuse,先看现状。 ss -s TCP: 61284 (estab 1180 closed 59870 timewait 61284) sysctl net.ipv4.tcp_t...

内核 5.4 反复报 nf_conntrack table full 跟踪表上限调到多少

陆零云 37 0
现象 业务高峰期 dmesg 里不断刷 nf_conntrack: table full, dropping packet,新建立的连接有三分之一直接失败,老连接不受影响。机器 CPU 和带宽都很空闲,看起来不像是资源不够,重启后能好一阵子又复发。 原因 netfilter 的连接跟踪表有固定容量,默认 nf_conntrack_max 通常是 65536,每条长连接、每个 NAT 映射都会占用一条记录。高并发短连接服务、或者容器网络里大量 veth 转发...

TIME_WAIT 涨到 5 万条 短连接服务端口耗尽怎么缓解

陆零云 38 0
现象 压测一个 HTTP 接口,QPS 推到 3000 左右时客户端开始报 Cannot assign requested address,请求批量失败。登录机器看 ss -s,TIME_WAIT 显示 5 万多,本地随机端口已经所剩无几,服务重启后能撑几分钟又复现。 原因 短连接由客户端主动关闭时,socket 要保留 2MSL 也就是 60 秒才能释放,这期间端口不能复用。默认 ip_local_port_range 是 32768 到 60999,可...