批量购物车接口上线第二天,日志里开始刷 MOVED 3999 10.0.3.12:6379。接口一次 MGET 取 20 个 key,PHP 端用的 phpredis 集群模式,按理说该自动跟随重定向,实际直接抛异常,购物车列表整块 500。
第一反应是槽位没分完。redis-CLI --Cluster check 跑一遍,16384 个槽全在,三个主节点各 5461 上下,没有空槽。集群状态正常,问题在这 20 个 key 本身。
用 cluster keyslot 逐个算,20 个 key 落在 6 个不同槽。MGET 是跨槽命令,集群不允许,客户端只能回 MOVED。试过把连接改成单节点直连,命令能过,但读到的数据缺了一半,写也会落到错的节点,当天就撤了。
又试逐个 GET,20 次往返,P99 从 12 ms 涨到 130 ms,高并发时连接池直接打满。大促扛不住这条路。
换成 hash tag。key 从 cart:10086:item:3 改成 {cart:10086}:item:3,花括号里的内容参与槽计算,同一购物车的所有 key 必然同槽,MGET 合法,一次往返拿全。
redis-cli -c -h 10.0.3.11 cluster keyslot "cart:10086:item:3"
redis-cli -c -h 10.0.3.11 cluster keyslot "{cart:10086}:item:3"
redis-cli -c mget "{cart:10086}:item:1" "{cart:10086}:item:2"
存量 120 万 key 不能直接改。写了迁移脚本,先双写新旧两种 key,读走新 key,缺失回源旧 key 并回填,跑两周后旧 key 靠过期淘汰。迁移期间 MOVED 从每天 4 万条降到 0。
确认方式:用 -c 参数连上去执行 MGET,返回值的顺序和 key 顺序一致;监控里购物车接口 P99 稳定在 12 到 15 ms,跨槽错误计数归零。
顺手把单次批量上限从 200 降到 50。hash tag 让同一用户集中到一个槽,单个购物车条目太多会变成热点,这点得靠业务侧限制数量。
