least_conn 换上去长尾反涨 200 毫秒 算法怎么挑

陆零云 27 0
商品接口的 P99 一直比 P50 高六倍,四台后端配置一样,负载却总有一台偏高。运维建议把轮询换成 least_conn,说能自动避开慢机器。 换完当天下午,P99 从 620 毫秒涨到 830 毫秒,比改之前更差。监控上四台的连接数倒是很平均,每台八百上下。 第一反应是 least_conn 没生效。nginx -T 确认 upstream 里写的就是它,重载也做了,配置没问题。 问题出在连接数这个指标本身。上游开了 keepalive,每条连接能复用...

tcp_keepalive_time 7200 秒 中间设备 300 秒清表怎么对齐

陆零云 24 0
门店 POS 的长连接有个怪现象,空闲五分钟后第一次操作必然失败,第二次就好。全国 300 多家店,每天累计几百次,收银员都习惯了先点两下。 在服务端抓包,失败前那条连接是被对端发 FIN 断的,FIN 来自中间的防火墙,不是客户端也不是服务端。防火墙的空闲会话超时写的 300 秒,到点直接清表。 服务端这边 tcp_keepalive_time 是内核默认的 7200 秒,两个小时才发第一个探测包。中间设备早把会话清掉,服务端还认为连接活着,写进去的数据...

后端权重改了不生效 502 还是全压一台

陆零云 26 0
四台后端,两台 8 核两台 4 核,把权重调成 100 比 100 比 25 比 25,等了十分钟看监控,流量还是各占四分之一,4 核机器 CPU 已经 90%,开始零星 502。 先确认改的是不是生效的那一组。云控制台上有两个后端组,一个挂在 HTTP 监听器,一个挂在 HTTPS 监听器,我们改的是前者,真实流量全走 443,压根没碰。 把 HTTPS 那组的权重改对,十分钟后分布还是老样子。这时候看连接数,ss -tn 按目的地址统计,四台各八千多条...

Nginx 配了 upstream keepalive 32 长连接仍不复用 proxy_http_version 怎么改

陆零云 42 0
现象 Nginx 作为反向代理,后端应用日志里连接的源端口每秒新增上千个,ss -tan 看到大量 TIME_WAIT,接口 P99 从 40ms 涨到 120ms。配置里已经写了 upstream keepalive 32,也加了 proxy_set_header Connection "",但看起来完全没起作用。 原因 三个地方最容易漏。一是没有 proxy_http_version 1.1,Nginx 默认用 1.0,HTTP/1.0 本身不支持连接...