压测到 4.2 万 QPS 时,客户端开始成片 connect timeout。服务端 ss -s 显示 total 5.1 万,TIME_WAIT 3.8 万,ESTAB 1.2 万。ulimit -n 在登录 shell 里是 65535,看着没问题。
看进程自己的限制才对。cat /proc/$(pidof php-fpm)/limits,Max open files 那行是 1024。服务是 systemd 拉起来的,limits.conf 只对登录 shell 生效,systemd 不读那个文件,必须在 unit 里写 LimitNOFILE=65535,再 daemon-reload。
端口也不够。ip_local_port_range 是 32768 到 60999,只有 2.8 万个可用端口,每秒几千次新建连接,一轮很快就耗光。改成 1024 65535,可用端口涨到 6.4 万。
tcp_tw_reuse 也开了,只对主动发起连接的一方有效,客户端侧收益明显,服务端被动关闭那一侧基本没用。tcp_max_tw_buckets 别调小,调小会提前丢 TIME_WAIT,症状比端口耗尽更难查。
中间试过把 tcp_tw_recycle 打开,2.6 以后这个参数在 NAT 环境会丢包,压测新建连接失败率反而涨到 8%,当天就回滚了。
真正管用的是把短连接改成长连接。数据库和 Redis 走连接池,上游 HTTP 开 keepalive,TIME_WAIT 压到 4 千出头,端口压力立刻消失。
验证用一条循环采样,跑十分钟看峰值:
for i in $(seq 1 60); do
ss -s | awk '/TCP:/{print strftime("%H:%M:%S"), $0}'
sleep 10
done
最后一次采样 TIME_WAIT 4120,ESTAB 9860,没有出现 connect timeout。ulimit 改完要在新会话里再核一次,服务重启后 pid 变了,限制也跟着变。
