商品接口的 P99 一直比 P50 高六倍,四台后端配置一样,负载却总有一台偏高。运维建议把轮询换成 least_conn,说能自动避开慢机器。
换完当天下午,P99 从 620 毫秒涨到 830 毫秒,比改之前更差。监控上四台的连接数倒是很平均,每台八百上下。
第一反应是 least_conn 没生效。nginx -T 确认 upstream 里写的就是它,重载也做了,配置没问题。
问题出在连接数这个指标本身。上游开了 keepalive,每条连接能复用几百个请求,连接数只反映建连数量,不反映正在处理的请求数。一台机器上十条连接各压着五十个排队请求,另一台十条连接全空闲,least_conn 看到的数字一模一样。
试过把 keepalive 池从 64 降到 8。请求分得更散了,建连次数涨了七倍,握手开销把延迟又推高 30 毫秒,得不偿失。
换成 nginx 的 random two least_conn。每次随机挑两台再比连接数,避免所有 worker 同时把请求塞给同一台,长尾掉到 540 毫秒,还是不够。
也考虑过一致性哈希。按用户 ID 分,缓存命中率能上去,但热点用户会把单台打满,这次的瓶颈是慢机器不是缓存,方案不对症。
upstream api {
random two least_conn;
server 10.0.2.11:9000 max_fails=3;
server 10.0.2.12:9000 max_fails=3;
keepalive 16;
}
最后落在请求级指标上。把慢的那台从池里摘掉,磁盘 IO 有问题的机器换盘;应用侧加了在途请求数上报,按在途数做加权,而不是按连接。
这套组合跑了一周,P99 410 毫秒,P50 78 毫秒,四台的 CPU 差距从 35 个点收窄到 8 个点。
回头看,least_conn 在短连接场景是好用的,连接数约等于并发数。一旦上了长连接池,这个前提就没了,算法得跟着换。
