源地址哈希扩容后 120 个用户会话漂移怎么定位

负载均衡从四台扩到五台,第二天上午登录接口的 401 从每分钟十几次涨到 120 次,用户反馈刚登录就被踢出来。

先查会话存储。session 放在 Redis,五台共用,key 前缀一致,登录态本身没丢。401 的响应体里写的是 token 校验失败,不是未登录,说明请求到了后端但过不了校验。

抓一台新机器的日志,token 校验要拿上游 OAuth 的公钥,每台机器本地缓存一份,有效期一小时。第五台刚上线,缓存是空的,落到它上面的请求都要回源取公钥。

我把五台机器的公钥缓存 key 全导出来比对,四台老机器的内容一致,第五台是空的,差异非常明显。

上游对取公钥的接口做了限流,单 IP 每分钟 60 次。这个阈值是上周刚调的,从 300 次降下来,扩容和限流撞在一起。五台机器共用同一个出口,超了直接 429,应用把 429 当成校验失败,吐给用户的就是 401。

试过重启新机器预热,正常十分钟又冒出来。源地址哈希是按台数取模的,加一台几乎把所有用户重新排了一遍,新机器上的缓存一直补不齐。

也试过把本地缓存 TTL 拉到二十四小时,401 少了一半,但公钥轮换那天会有一批请求拿着旧 key 失败,风险比现在更大。

upstream auth {
    hash $remote_addr consistent;
    server 10.0.5.11:9000;
    server 10.0.5.12:9000;
}
# 加一台只迁移约五分之一的 key

最后两处一起改。负载均衡换成一致性哈希,扩容只迁移约五分之一的 key,不再整段重排;公钥缓存挪到 Redis,五台共享一份,回源取公钥的请求从每分钟几百次降到个位数。

灰度期间也想过先把新机器的权重压到 10,等缓存预热两小时再放开,这个办法能用,但每次扩容都要人工盯,不如共享缓存彻底。

现在扩容流程里加了预热步骤,新节点起来先跑一次公钥拉取,健康检查通过才进池子。上一轮从三台到四台没人注意 401,是因为用户量还小,缓存几分钟就补满了。

改完盯了一天,401 回到每分钟 3 次,登录 P99 从 900 毫秒降到 210 毫秒。扩容放在低峰只能减轻症状,根源还是缓存不能各存各的。

您可以还会对下面的文章感兴趣: