后端权重改了不生效 502 还是全压一台

四台后端,两台 8 核两台 4 核,把权重调成 100 比 100 比 25 比 25,等了十分钟看监控,流量还是各占四分之一,4 核机器 CPU 已经 90%,开始零星 502。

先确认改的是不是生效的那一组。云控制台上有两个后端组,一个挂在 HTTP 监听器,一个挂在 HTTPS 监听器,我们改的是前者,真实流量全走 443,压根没碰。

把 HTTPS 那组的权重改对,十分钟后分布还是老样子。这时候看连接数,ss -tn 按目的地址统计,四台各八千多条,几乎不涨不跌。

原因是长连接。网关到后端开了 keepalive,空闲超时 300 秒,一条连接建好之后一直复用,权重只影响新建连接。老连接不重建,新权重就体现不出来。

试过直接重启网关进程,流量瞬间按 100 比 25 分开了,代价是短暂 502 和几千个用户重连,不能当成常规手段。

ss -tn state established '( dport = :9000 )' \
  | awk '{print $4}' | cut -d: -f1 | sort | uniq -c
sysctl -w net.ipv4.tcp_keepalive_time=60

最后把后端 keepalive 的空闲超时从 300 秒压到 30 秒,权重调整后一分钟内生效,不用重启任何进程。会话保持也顺手关了,业务本身无状态,之前开着反而让分布更偏。

权重还有个细节,最小权重不能设成 1。有的负载均衡实现按权重比例的倒数算上限,1 和 100 放一起,小机器每秒只能接一个新连接,压测时直接变成黑洞。我们把最小权重定在 5。

改完要有个能看懂的验证办法。写个循环打两千次,每次新建连接,统计每台的来源端口分布,比例接近 4 比 1 就算对。用长连接打,永远是各占一半,看不出权重。

第二天加机器,同样的权重比例,两小时内流量就按 4 比 1 稳定下来,4 核机器的 CPU 落到 55%,502 消失。

您可以还会对下面的文章感兴趣: