一致性哈希 8 台后端只吃到 2 台 | 虚拟节点加到 160 怎么验

缓存代理层扩到八台以后,监控上两台 CPU 常年 90%,另外六台只有 20%。第一反应是权重配错,把配置拉下来逐行看,八台的 weight 都是 100,没有差别。

统计每台的实际 key 数量,两台加起来承担了 71% 的请求。看连接数也印证了这一点,高的两台各 3.2 万,低的只有 4 千。再看 key 的构成就明白了,业务方的 key 前缀几乎一样,都是 item 加一个自增 ID,前几位完全相同,哈希散不开。

再加上虚拟节点只配了 40 个,环上的点太稀,一段弧落在哪台就全压在那台。两件事叠在一起,倾斜就被放大了。

我先试了改成轮询,分布立刻均匀,可缓存命中率掉了 18%。同一个 key 每次落到不同节点,缓存等于没有,这个方案只能否掉。

回到一致性哈希,把虚拟节点从 40 加到 160。key 前缀相同的问题靠加盐处理,在业务侧拼一个随机后缀参与哈希,真实 key 不变。改完最大节点占比从 71% 降到 16%,和平均值差不到两个点。

awk '{print $NF}' /var/log/nginx/up.log | sort | uniq -c | sort -rn
upstream cache {
    hash $key consistent;
    server 10.0.0.1:8080 weight=1;
}

扩容验证也做了一次,加一台机器,理论上应该迁走八分之一。实测迁走了 12.4%,多出来的部分是虚拟节点引起的小幅波动,可以接受。

负载最高的那台 GC 时间也跟着下来了,从每天 11 分钟降到 3 分钟。又观察一周,没有再出现单点打满,扩容时也不需要先手动降权。

您可以还会对下面的文章感兴趣: