陆零云
23
0
每次发版执行 systemctl reload php-fpm,监控上 502 会冒一个尖刺,三十秒里两百多条,用户端表现为刷新一下就好,所以一直没人管。fpm 版本 8.2.13,pm 是 dynamic,max_children 40,process_control_timeout 没写,也就是默认 0。
先怀疑 nginx 到 fpm 的长连接。upstream 加了 keepalive 32,proxy_next_upstream 补上 error...
陆零云
27
0
对账任务每小时调一次上游的计费接口,用的是常驻进程里 curl 的连接复用。最近一周,每小时那次调用有三分之一直接失败,日志里是 HTTP 502 和 Connection reset by peer。
第一反应是上游挂了。翻上游的状态页,那个时间点没有故障记录。改成不复用连接、每次新建的脚本跑,一次都没失败,问题就落在长连接上。
抓包看得很清楚。空闲四分多钟之后复用链路发请求,第一个包出去,回来的不是响应而是 RST。conntrack -L 里那条会话...
陆零云
30
0
灰度开关打开十分钟,监控上 502 从每万次 3 个涨到 180 个。失败集中在带 gray=1 cookie 的请求上,没带 cookie 的老用户完全正常。
error.log 原文是 no resolver defined to resolve new。这句说明 nginx 把 new 当成域名去解析,而不是当成 upstream 名字。
配置里 map 把 $cookie_gray 映射到 new,upstream 块定义的却是 new_v2。变量...
陆零云
35
0
nginx 1.24.0 做配置发布,reload 之后监控上冒出 17 个 502,持续 0.3 秒左右。每次发布都复现。
error.log 原文是 upstream prematurely closed connection while reading response header from upstream,upstream 指向 unix:/run/php-fpm.sock。nginx 和 php-fpm 在同一台机器上。
第一反应是 php-...
陆零云
25
0
早上八点二十,监控告警 502 比例 31%,持续 11 秒又自己恢复。nginx error log 里同一时段有 40 多条 upstream timed out,而且 upstream 组里八台机器全被标成 down,不是一台。
当时配置是 max_fails=1,fail_timeout=10s,proxy_read_timeout 2s。八点二十正好赶上定时任务和早高峰撞车,后端有一次 2.1 秒的 GC 停顿,八个 worker 各发一个请求过...
陆零云
30
0
早上九点,图片站开始零星返回 502,集中在华东两个省。同一张图刷新一两次能出来,过一会儿又不行,客服收到的截图里页面是破图。
先确认 502 是谁发的。curl -I 带上调试头,响应里有 X-Cache: MISS 和 X-Switch: 3,说明请求已经落到边缘节点,是节点回源失败之后自己拼出来的 502,不是源站返回的。
边缘回源走 HTTPS,回源 HOST 配成了图片子域,SNI 也跟着发这个子域。源站 nginx 只给主域装了一张证书,没有图...
陆零云
34
0
现象
把图片和静态文件迁到独立域名后,页面样式和图片全部 502,源站 Nginx 日志里却只有 200,CDN 控制台显示回源失败,主站 HTML 本身能正常打开。
原因
静态域名解析到 CDN,回源地址仍指向旧机器;动静分离后 Nginx 的 location 规则把 /static 代理到已下线的 upstream;跨域访问缺少 CORS 头导致字体被拦;证书只签了主域名,静态子域握手失败。还有一处:迁移后页面里仍写死旧域名的绝对路径,跨域请求被浏览...
陆零云
40
0
现象
用户访问站点图片时零星报 502,CDN 控制台的回源日志里 upstream_status 写着 502,但登录源站看 Nginx 的 access.log,同一时间段的记录全是 200,两边数据对不上,运维一时找不到方向。
原因
常见四种。CDN 与源站之间用了长连接池,源站 keepalive_timeout 比 CDN 侧短,连接被对端关闭后仍被复用,报 upstream prematurely closed;回源 Host 或 SNI 与源...