tcp_tw_reuse 开了服务端 6 万 TIME_WAIT 还是降不下来怎么办

陆零云 29 0
网关的 80 端口在晚高峰堆了 6.2 万条 TIME_WAIT,ip_local_port_range 只给了 2.8 万个口,新建连接开始零星报 cannot assign requested address,前端偶尔白屏。 第一反应是开 tcp_tw_reuse。改完盯了半小时,TIME_WAIT 数量一点没降,还是六万上下,等于白改。 翻内核文档才想明白,tw_reuse 只对主动发起连接的一方有效,还要求开启时间戳。我们这台是服务端,连接是 ng...

TCP 连接数打满 ulimit 1024 为什么新连接还是失败

陆零云 32 0
压测到 4.2 万 QPS 时,客户端开始成片 connect timeout。服务端 ss -s 显示 total 5.1 万,TIME_WAIT 3.8 万,ESTAB 1.2 万。ulimit -n 在登录 shell 里是 65535,看着没问题。 看进程自己的限制才对。cat /proc/$(pidof php-fpm)/limits,Max open files 那行是 1024。服务是 systemd 拉起来的,limits.conf 只对登...

TIME_WAIT 六万条连接 端口耗尽后 tcp_tw_reuse 怎么开

陆零云 38 0
网关机器上 ss -s 打出 timewait 61284,本地端口从 28000 到 61000 全线占满,新请求直接报 cannot assign requested address。业务是短连接调上游 HTTP 接口,QPS 大概 1200。 第一反应是开 tcp_tw_reuse,先看现状。 ss -s TCP: 61284 (estab 1180 closed 59870 timewait 61284) sysctl net.ipv4.tcp_t...

TIME_WAIT 涨到 5 万条 短连接服务端口耗尽怎么缓解

陆零云 38 0
现象 压测一个 HTTP 接口,QPS 推到 3000 左右时客户端开始报 Cannot assign requested address,请求批量失败。登录机器看 ss -s,TIME_WAIT 显示 5 万多,本地随机端口已经所剩无几,服务重启后能撑几分钟又复现。 原因 短连接由客户端主动关闭时,socket 要保留 2MSL 也就是 60 秒才能释放,这期间端口不能复用。默认 ip_local_port_range 是 32768 到 60999,可...