WebSocket 重连风暴 3 万设备回来 CPU 冲到 100% 卡住

网关凌晨做了一次滚动重启,重启后三分钟,四核机器 load 冲到 42,CPU 全满,新连接大量 accept timeout。ss -lnt 看 443 的 Send-Q 一直停在 1024,accept 队列满了。

原因很直接,3 万台设备的重连逻辑是失败后固定 5 秒重试,没有随机抖动。网关重启全部断开,5 秒后一起回来,TLS 握手把 CPU 吃满,握手排队又拖出更多超时,超时的设备进入下一轮重试,越滚越大。

先止血。worker_connections 从 1024 提到 65535,listen 加 backlog=8192,somaxconn 调到 65535,开了 reuseport。这几项只解决排队,不解决同一秒涌进来。

真正的修法在客户端。重连间隔改成指数退避加随机抖动,第 n 次等 2 的 n 次方秒,再乘 0.5 到 1.5 的随机因子,上限 60 秒。服务端再加一道入口限流,每秒放 200 个新连接,多出来的回 503 带 Retry-After。

还有个细节,握手贵是因为每次都走完整 TLS。开 session ticket,ssl_session_timeout 给 4 小时,重连握手从 12ms 降到 2ms,这一项贡献了接近一半的改善。

worker_processes 设成 auto,四核起四个 worker,每个 worker 有自己的 accept 队列,reuseport 让内核按四元组哈希分发,单核不再被抢。

压到 3 万连接才有意义,边压边看队列长度:

for i in $(seq 1 30); do
  ss -lnt | awk '$1=="LISTEN" && $4 ~ /:443$/ {print $2, $3}'
  sleep 2
done

压完 Send-Q 不超过 200,CPU 峰值 65%,load 9。随机退避上线后同样的重启场景只出现 4000 次重连峰值,是原来的七分之一。

您可以还会对下面的文章感兴趣: