nginx 1.24.0 做配置发布,reload 之后监控上冒出 17 个 502,持续 0.3 秒左右。每次发布都复现。
error.log 原文是 upstream prematurely closed connection while reading response header from upstream,upstream 指向 unix:/run/php-fpm.sock。nginx 和 php-fpm 在同一台机器上。
第一反应是 php-fpm 重启导致的。翻 systemd 日志,reload 期间 php-fpm 的 PID 没变,也没重启记录。真正被换掉的是 nginx worker,旧 worker 收到退出信号后不再接新连接,但已经复用的 upstream keepalive 连接被直接关掉,正在等响应的请求就断了。
先补重试。proxy_next_upstream 加上 error 和 http_502,失败请求换 upstream 重来。同时在 upstream 块里加 keepalive 32,并显式设 1.1 协议、清空 Connection 头,否则 keepalive 根本不生效。
upstream php {
server unix:/run/php-fpm.sock;
keepalive 32;
}
proxy_http_version 1.1;
proxy_set_header Connection "";
proxy_next_upstream error timeout http_502;
worker_shutdown_timeout 15s;
只改这些,502 从 17 降到 6,还有残留。原因是旧 worker 默认无限等长连接,前端 keepalive 60 秒,旧 worker 挂在那不退,新 worker 抢不到 accept,中间出现空窗。
加 worker_shutdown_timeout 15s 之后,旧 worker 最多撑 15 秒就退出。配合负载均衡摘流量的 20 秒等待,才彻底干净。
发布流程也改了。之前是 reload 完立刻回滚检查,现在先从 SLB 摘掉这台,等 20 秒让存量请求走完,再 reload,再挂回去。单台发布从 5 秒变成 45 秒。
压测验证:wrk 打 200 并发,脚本里循环 reload 20 次,统计 access.log 里的 502。改前 23 个,改后 0 个。
worker_shutdown_timeout 别设太小,小于上游最长响应时间会把慢接口掐断。我们最慢的导出接口 8 秒,设 15 秒还有余量。
