nginx 平滑重载之后,443 开始随机挂起,curl 十次里有两次卡满五秒才超时,同一时刻 80 端口完全正常。监控上 QPS 掉了三成,日志里一条错误都没有。
ss -lntp 查 443,输出里出现两行 listen,两个不同的 master 进程都在 0.0.0.0:443 上。正常情况新进程起来时旧进程应该已经释放,这里两个都活着。
这就是 reuseport 的特性。它让多个 socket 绑同一端口都成功,内核按四元组哈希把连接分给其中一个。旧 master 的 worker 已经退得差不多,分到它那边的连接没人 accept,客户端只能等超时。
为什么旧 master 不退。它有一个 worker 卡在一条长连接上,正在给客户端推流,worker_shutdown_timeout 没配,master 就一直等。这个指令老版本 nginx 没有,升级之前只能靠 kill 兜底。
试过把 reuseport 去掉,reload 立刻报 bind() to 0.0.0.0:443 failed (98: Address already in use),连平滑重载都做不了,只能整机重启,影响更大。
ss -lntp 'sport = :443'
ps -eo pid,ppid,etime,cmd | grep 'nginx: master'
nginx -V 2>&1 | grep -o with-stream
kill -QUIT 18422
先对旧 master 发 QUIT,观察十秒,worker 不走就上 TERM,最后才 KILL。恢复之后把 nginx 升到 1.25,配置里加 worker_shutdown_timeout 10s,重载时旧 worker 十秒内必然退出。
验证方式固定成一条,每次 reload 后立刻跑三次 ss,确认 443 只有一组监听,再用 curl 连打两百次,超时数为 0 才算过。
