php-fpm 平滑重载瞬间 502 冲到 200 条 process_control_timeout 怎么设才不断

陆零云 23 0
每次发版执行 systemctl reload php-fpm,监控上 502 会冒一个尖刺,三十秒里两百多条,用户端表现为刷新一下就好,所以一直没人管。fpm 版本 8.2.13,pm 是 dynamic,max_children 40,process_control_timeout 没写,也就是默认 0。 先怀疑 nginx 到 fpm 的长连接。upstream 加了 keepalive 32,proxy_next_upstream 补上 error...

NAT 回收会话后长连接全报 502 keepalive 该设多少秒

陆零云 27 0
对账任务每小时调一次上游的计费接口,用的是常驻进程里 curl 的连接复用。最近一周,每小时那次调用有三分之一直接失败,日志里是 HTTP 502 和 Connection reset by peer。 第一反应是上游挂了。翻上游的状态页,那个时间点没有故障记录。改成不复用连接、每次新建的脚本跑,一次都没失败,问题就落在长连接上。 抓包看得很清楚。空闲四分多钟之后复用链路发请求,第一个包出去,回来的不是响应而是 RST。conntrack -L 里那条会话...

Nginx map 分流配错 灰度用户报 502:旧版怎么兜底

陆零云 30 0
灰度开关打开十分钟,监控上 502 从每万次 3 个涨到 180 个。失败集中在带 gray=1 cookie 的请求上,没带 cookie 的老用户完全正常。 error.log 原文是 no resolver defined to resolve new。这句说明 nginx 把 new 当成域名去解析,而不是当成 upstream 名字。 配置里 map 把 $cookie_gray 映射到 new,upstream 块定义的却是 new_v2。变量...

nginx 热 reload 报 502 持续 0.3 秒 | 旧进程怎么平滑退出

陆零云 35 0
nginx 1.24.0 做配置发布,reload 之后监控上冒出 17 个 502,持续 0.3 秒左右。每次发布都复现。 error.log 原文是 upstream prematurely closed connection while reading response header from upstream,upstream 指向 unix:/run/php-fpm.sock。nginx 和 php-fpm 在同一台机器上。 第一反应是 php-...

nginx 健康检查 2 秒摘光节点 | max_fails 怎么调回来

陆零云 25 0
早上八点二十,监控告警 502 比例 31%,持续 11 秒又自己恢复。nginx error log 里同一时段有 40 多条 upstream timed out,而且 upstream 组里八台机器全被标成 down,不是一台。 当时配置是 max_fails=1,fail_timeout=10s,proxy_read_timeout 2s。八点二十正好赶上定时任务和早高峰撞车,后端有一次 2.1 秒的 GC 停顿,八个 worker 各发一个请求过...

CDN 回源 502 证书不匹配:怎么定位到哪一跳出错

陆零云 30 0
早上九点,图片站开始零星返回 502,集中在华东两个省。同一张图刷新一两次能出来,过一会儿又不行,客服收到的截图里页面是破图。 先确认 502 是谁发的。curl -I 带上调试头,响应里有 X-Cache: MISS 和 X-Switch: 3,说明请求已经落到边缘节点,是节点回源失败之后自己拼出来的 502,不是源站返回的。 边缘回源走 HTTPS,回源 HOST 配成了图片子域,SNI 也跟着发这个子域。源站 nginx 只给主域装了一张证书,没有图...

静态资源挪到独立域名后全 502 动静分离回源怎么配

陆零云 34 0
现象 把图片和静态文件迁到独立域名后,页面样式和图片全部 502,源站 Nginx 日志里却只有 200,CDN 控制台显示回源失败,主站 HTML 本身能正常打开。 原因 静态域名解析到 CDN,回源地址仍指向旧机器;动静分离后 Nginx 的 location 规则把 /static 代理到已下线的 upstream;跨域访问缺少 CORS 头导致字体被拦;证书只签了主域名,静态子域握手失败。还有一处:迁移后页面里仍写死旧域名的绝对路径,跨域请求被浏览...

CDN 回源报 502 源站 Nginx 日志里却全是 200 怎么排查

陆零云 40 0
现象 用户访问站点图片时零星报 502,CDN 控制台的回源日志里 upstream_status 写着 502,但登录源站看 Nginx 的 access.log,同一时间段的记录全是 200,两边数据对不上,运维一时找不到方向。 原因 常见四种。CDN 与源站之间用了长连接池,源站 keepalive_timeout 比 CDN 侧短,连接被对端关闭后仍被复用,报 upstream prematurely closed;回源 Host 或 SNI 与源...