回滚旧版本后 Redis 缓存报 500 新结构反序列化怎么隔离

2.3.0 上线 40 分钟发现下单会算错优惠,决定回滚到 2.2.4。回滚完成后 500 比例冲到 38%,日志里全是 java.lang.ClassCastException: java.util.ArrayList cannot be cast to com.shop.CartItem。

2.3.0 把购物车缓存的 value 从对象改成了数组,key 还是 cart:用户ID。回滚只是换了镜像,Redis 里躺着 4.2 万个新结构的 key,旧代码反序列化直接炸。

第一反应是清缓存。redis-CLI --scan --pattern 'cart:*' 扫出 4 万多个 key 再逐个 del,主线程跑了 3 分钟,接口排队更严重。想过 FLUSHDB,但这个实例上有 6 个业务共用,清了会连锁雪崩。

改成 unlink 分批,每批 1000 个,中间歇 0.2 秒。清了 6 分钟,500 从 38% 降到 1%,缓存命中率从 0 慢慢回升。

redis-cli --scan --pattern 'cart:*' | head -1000 | while read k
do redis-cli unlink "$k"; done
redis-cli info stats | grep keyspace

清缓存只是止血,根因是 key 没带结构版本,同一份数据被两代代码共用。现在 key 统一成 v3:cart:用户ID,缓存结构一改就升版本,回滚后旧代码读 v2 前缀自然全 miss,走库兜底,慢一点但不出错。

发布单加了一项检查:这次动了哪些缓存结构,回滚后旧版本能不能读。答不上来就不许发。评审时被问过三次,都答不上来,说明这项加得对。

验证放在预发做。先发新版写 5000 个 key,再回滚,接口 500 归零,命中率 20 分钟后回到 92%。生产上那次 38%,就是因为跳过了这一步。

还有一类容易忽略的:session 和分布式锁也在同一个 Redis 实例里。清缓存前先确认 pattern 不会扫到 l: 和 sess: 开头的 key,脚本里写了白名单前缀,跑之前先 count 一遍。

您可以还会对下面的文章感兴趣: