Redis 内存到 4GB 上限那天,缓存命中率从 96% 掉到 41%,数据库 QPS 从 800 冲到 6000,半小时后接口大面积 500。
配置是 maxmemory 4GB,maxmemory-policy allkeys-lru。这个策略在内存满时不看用途,所有 key 一起挑。而这个实例上同时存了缓存、分布式锁和延迟队列。
锁被淘汰的后果最直接。两个进程同时拿到锁,重复扣了一次库存。队列的 key 被删,几十条待处理任务直接丢,只能从业务日志里手工补。
另一种更常见的配置是 noeviction。内存满时写操作直接报 OOM command not allowed when used memory 大于 maxmemory,读还能用,写全挂,比淘汰更难看。
改法分两步。先把非缓存数据搬走,锁和队列各起一个实例,端口和配置分开,文档里写死不许多业务混用一个实例。
缓存实例改成 volatile-lru,只淘汰设了 TTL 的 key。上线前扫一遍没有 TTL 的 key,用 --scan 配合 ttl 判断,发现 3 万多个永久 key,逐个补过期时间。
redis-cli config set maxmemory-policy volatile-lru
redis-cli --scan --pattern '*' | while read k; do
t=$(redis-cli ttl "$k"); [ "$t" -eq -1 ] && echo "$k"
done | head -50
redis-cli info stats | grep keyspace
容量留余量。maxmemory 从 4GB 调到 6GB,机器 8GB,留 2GB 给 fork 做 RDB。bgsave 时 copy-on-write 会额外占内存,贴着上限跑容易被 OOM killer 干掉。
验证:info stats 看 keyspace_hits 和 keyspace_misses,命中率回到 94%;info memory 的 used_memory 稳定在 3.1GB,不再贴顶;压测跑 2 小时没出现淘汰日志。
还加了一条,key 命名强制带业务前缀,缓存用 c:,锁用 l:,脚本定时扫前缀统计内存占比,谁超了找谁。
