网关凌晨做了一次滚动重启,重启后三分钟,四核机器 load 冲到 42,CPU 全满,新连接大量 accept timeout。ss -lnt 看 443 的 Send-Q 一直停在 1024,accept 队列满了。
原因很直接,3 万台设备的重连逻辑是失败后固定 5 秒重试,没有随机抖动。网关重启全部断开,5 秒后一起回来,TLS 握手把 CPU 吃满,握手排队又拖出更多超时,超时的设备进入下一轮重试,越滚越大。
先止血。worker_connections 从 1024 提到 65535,listen 加 backlog=8192,somaxconn 调到 65535,开了 reuseport。这几项只解决排队,不解决同一秒涌进来。
真正的修法在客户端。重连间隔改成指数退避加随机抖动,第 n 次等 2 的 n 次方秒,再乘 0.5 到 1.5 的随机因子,上限 60 秒。服务端再加一道入口限流,每秒放 200 个新连接,多出来的回 503 带 Retry-After。
还有个细节,握手贵是因为每次都走完整 TLS。开 session ticket,ssl_session_timeout 给 4 小时,重连握手从 12ms 降到 2ms,这一项贡献了接近一半的改善。
worker_processes 设成 auto,四核起四个 worker,每个 worker 有自己的 accept 队列,reuseport 让内核按四元组哈希分发,单核不再被抢。
压到 3 万连接才有意义,边压边看队列长度:
for i in $(seq 1 30); do
ss -lnt | awk '$1=="LISTEN" && $4 ~ /:443$/ {print $2, $3}'
sleep 2
done
压完 Send-Q 不超过 200,CPU 峰值 65%,load 9。随机退避上线后同样的重启场景只出现 4000 次重连峰值,是原来的七分之一。
