陆零云
11
0
大促前压测,商品详情接口 2000 QPS,缓存到期那一下数据库 CPU 直接打满,慢查询堆到 400 条。缓存是 10 分钟过期,热点 key 就那几个。
第一反应是没做互斥。代码里确实有 setnx,锁 10 秒过期,拿到锁的进程去重建缓存。问题是重建要 12 秒,锁先过期了,第二波请求又拿到锁,数据库上同时有十几个重建任务。
试过把锁的 TTL 加到 30 秒,重建期间不会重复,但持锁进程一旦异常退出,锁要占满 30 秒,这期间所有请求都拿不到数据,...
陆零云
24
0
现象
活动开始后 2000 QPS 打到商品详情,Redis 里热点 key 同时过期,请求全部落到 MySQL,连接数瞬间打满,接口大面积超时,日志里全是 too many connections。
原因
缓存击穿是单个热点 key 失效瞬间被高并发穿透。过期时间统一设置,整批 key 同时失效;没有互斥重建,几百个请求同时查库;空结果没缓存,不存在的 id 每次都打数据库;缓存与数据库更新顺序不一致,旧值还会被写回。若 TTL 都落在整点,同一秒失效的...