least_conn 换上去长尾反涨 200 毫秒 算法怎么挑

商品接口的 P99 一直比 P50 高六倍,四台后端配置一样,负载却总有一台偏高。运维建议把轮询换成 least_conn,说能自动避开慢机器。

换完当天下午,P99 从 620 毫秒涨到 830 毫秒,比改之前更差。监控上四台的连接数倒是很平均,每台八百上下。

第一反应是 least_conn 没生效。nginx -T 确认 upstream 里写的就是它,重载也做了,配置没问题。

问题出在连接数这个指标本身。上游开了 keepalive,每条连接能复用几百个请求,连接数只反映建连数量,不反映正在处理的请求数。一台机器上十条连接各压着五十个排队请求,另一台十条连接全空闲,least_conn 看到的数字一模一样。

试过把 keepalive 池从 64 降到 8。请求分得更散了,建连次数涨了七倍,握手开销把延迟又推高 30 毫秒,得不偿失。

换成 nginx 的 random two least_conn。每次随机挑两台再比连接数,避免所有 worker 同时把请求塞给同一台,长尾掉到 540 毫秒,还是不够。

也考虑过一致性哈希。按用户 ID 分,缓存命中率能上去,但热点用户会把单台打满,这次的瓶颈是慢机器不是缓存,方案不对症。

upstream api {
    random two least_conn;
    server 10.0.2.11:9000 max_fails=3;
    server 10.0.2.12:9000 max_fails=3;
    keepalive 16;
}

最后落在请求级指标上。把慢的那台从池里摘掉,磁盘 IO 有问题的机器换盘;应用侧加了在途请求数上报,按在途数做加权,而不是按连接。

这套组合跑了一周,P99 410 毫秒,P50 78 毫秒,四台的 CPU 差距从 35 个点收窄到 8 个点。

回头看,least_conn 在短连接场景是好用的,连接数约等于并发数。一旦上了长连接池,这个前提就没了,算法得跟着换。

您可以还会对下面的文章感兴趣: