晚高峰从八点开始,业务方调第三方物流接口的失败率一路涨到 30%,报的都是 connect timeout。同一台机器上 curl 那个域名又是通的,运维第一反应是我们自己的网络在抖。
先排本机。ulimit -n 是 65535,conntrack count 4.2 万没到上限,ss -s 里 TIME_WAIT 1.8 万,看着都正常。tcpdump 抓包,SYN 发出去三秒没有回应,重传两次后放弃,目标 IP 一直没回。
出口是云上的 NAT 网关,五台 ECS 共用一组 EIP。登到网关侧看指标,SNAT 连接数 6.4 万,正好顶到每个 IP 的端口上限,端口分配失败计数在涨。一个公网 IP 能用的源端口大约 6.4 万个,五台机器同时打同一个目标地址的 443,四元组很快就不够分。
第一版处理是把 conntrack 超时从 120 秒压到 60 秒,端口回收快一点,失败率从 30% 降到 22%,治标。
第二版试 tcp_tw_reuse,对网关侧没用,那个参数只管本机主动发起的连接,NAT 是在网关内核里做的,我们改不到。
真正的解法有三条。业务侧把短连接改成连接池,对方支持 keepalive,复用之后新建连接数掉了七成。给 NAT 网关再加两个 EIP,出口做轮询,单 IP 的端口压力摊开。剩下的一批老接口没法改,单独走一台带独立 EIP 的代理机。
ss -tan dst 203.0.113.20:443 | awk '{print $1}' | sort | uniq -c
conntrack -L -d 203.0.113.20 2>/dev/null | wc -l
ss -s | head -3
中间还发现一个坑,有个 SDK 每次请求都 new 一个 CLIent 不复用,日志里连接数看着不高,实际每秒新建 900 次,是端口消耗的大头。改完这个,端口峰值从 6.4 万掉到 2.1 万。
确认跑了三个晚高峰,新建连接失败率 0.2%,网关端口占用稳定在三成。看的指标不是应用成功率,那个有重试会骗人,得看网关自己的端口分配失败计数。
