早上八点二十,监控告警 502 比例 31%,持续 11 秒又自己恢复。nginx error log 里同一时段有 40 多条 upstream timed out,而且 upstream 组里八台机器全被标成 down,不是一台。
当时配置是 max_fails=1,fail_timeout=10s,proxy_read_timeout 2s。八点二十正好赶上定时任务和早高峰撞车,后端有一次 2.1 秒的 GC 停顿,八个 worker 各发一个请求过去全部超时,八台机器各记一次失败,直接被摘光。
proxy_next_upstream 默认只对 error 和 timeout 重试,可每个节点都被判失败,重试也没有可用节点。11 秒后 fail_timeout 到期,节点加回来,服务才恢复。
调参方向不是把超时放大,那只是把问题往后推。max_fails 改 3,fail_timeout 改 30s,proxy_connect_timeout 1s,proxy_read_timeout 10s,proxy_next_upstream 加上 http_502 http_503。三个条件叠起来,单节点偶发一次慢不会整组下线。
还有隐性的一刀,节点恢复瞬间把积压连接一次性放进来,会出现二次抖动。加 keepalive 32 效果明显,slow_start 开源版没有,只能先调低权重再拉回。
开源 nginx 的检查是被动的,只能靠真实请求探活,想要独立探针得装第三方模块。我们最后在前面挂了一层 SLB 做主动探活,nginx 只管转发。
验证方式是给一台节点注入延迟,看是不是只有它被摘:
tc qdisc add dev eth0 root netem delay 2000ms
tail -f /var/log/nginx/error.log | grep -i upstream
结果符合预期,只有注入的那台权重归零,其余七台正常接流量,502 比例回到 0.02%。
