大促前压测,商品详情接口 2000 QPS,缓存到期那一下数据库 CPU 直接打满,慢查询堆到 400 条。缓存是 10 分钟过期,热点 key 就那几个。
第一反应是没做互斥。代码里确实有 setnx,锁 10 秒过期,拿到锁的进程去重建缓存。问题是重建要 12 秒,锁先过期了,第二波请求又拿到锁,数据库上同时有十几个重建任务。
试过把锁的 TTL 加到 30 秒,重建期间不会重复,但持锁进程一旦异常退出,锁要占满 30 秒,这期间所有请求都拿不到数据,接口直接 500。也试过拿不到锁就 sleep 100 毫秒重试,结果请求全堆在 sleep 上,fpm 的 worker 很快耗尽。
换方案是逻辑过期。缓存 value 里多存一个 expire_at,读的时候发现过了这个时间但 Redis 的 TTL 还没到,就直接返回旧值,同时丢一个异步任务去重建。重建用 setnx 保证只有一个,锁的 value 写随机 token,释放时用 Lua 比对,避免误删别人的锁。
另外留了兜底:旧值最多再用 60 秒,超过就同步重建,宁可慢也不能给空。这个 60 秒是按业务能容忍的脏数据时间定的,和运营确认过。
压测结果:数据库 QPS 从 1.8 万降到 120,接口 p99 40 毫秒,缓存命中率 99.6%。又把 expire_at 提前 30 秒,让重建在真正过期前完成,压测两小时没有出现空窗。
$ok = $redis->set($lock, $token, ['nx', 'ex' => 30]);
if (!$ok) {
return $stale ?: waitAndGet($key);
}
try {
$data = build($key);
$redis->setex($key, 600, json_encode($data));
} finally {
$redis->eval($lua, [$lock, $token], 1);
} 