两台机器同时跑定时任务 重复推送 1.8 万条 锁怎么加

陆零云 31 0
短信账单重复发了 1.8 万条。查下来是每天的账单任务在两台机器上各跑了一遍,用户收到两条一样的推送。 任务挂在 crontab 里,两台机器的配置一模一样。之前只有一台,扩容之后没人想起来这回事,定时任务跟着代码一起上了新机器。 第一反应是加个文件锁。flock 在本机有效,跨机器完全没用。两台机器各锁各的,问题照旧。 换成 Redis 的 SET NX EX。key 用任务名加日期,过期时间设成任务最长执行时间的两倍,抢到锁的才执行。 $ok = $r...

缓存穿透 500 QPS 打穿数据库 空值缓存怎么设

陆零云 32 0
凌晨两点数据库连接打满,CPU 92%,慢查询里全是 select * from product where id=?。这些 id 在库里根本不存在,来自爬虫顺序遍历和一次前端循环 bug。缓存查不到,请求全落 MySQL,500 QPS 直接把库压死。 这是缓存穿透,和击穿不是一回事。击穿是热点 key 过期瞬间的并发,穿透是查询本身永远不命中。加互斥锁没用,锁只挡同一 key 的并发,挡不住 10 万个不同的假 id。 第一步止血,在入口对 id 做格...

Redis 空闲 300 秒报 read error:长连接复用到底开不开

陆零云 32 0
凌晨 1 点 20 分,订单回调开始零星报 RedisException: read error on connection to 10.0.3.21:6379,一分钟四十多条,重试一次又能过。PHP 8.1.27 配 phpredis 5.3.7,Redis 6.2.7 单实例,白天一条都没有。 先看连接是怎么写的。业务用的是 pconnect('10.0.3.21', 6379, 1, 300),当时以为第四个参数是复用时长,其实那是 persiste...

Redis 淘汰策略配错 触发 OOM:热 key 全没了怎么改

陆零云 32 0
Redis 内存到 4GB 上限那天,缓存命中率从 96% 掉到 41%,数据库 QPS 从 800 冲到 6000,半小时后接口大面积 500。 配置是 maxmemory 4GB,maxmemory-policy allkeys-lru。这个策略在内存满时不看用途,所有 key 一起挑。而这个实例上同时存了缓存、分布式锁和延迟队列。 锁被淘汰的后果最直接。两个进程同时拿到锁,重复扣了一次库存。队列的 key 被删,几十条待处理任务直接丢,只能从业务日志...

令牌桶按 20 每秒配 突发打穿报 429 | 桶怎么补

陆零云 30 0
限流上线第三天,网关 429 比例冲到 63%。桶容量 100,补充速率 20/s,正常流量 30 QPS,按理说打不满。 看日志,某个上游服务超时后客户端重试,1 秒内打了 800 个请求。桶瞬间清空,之后每个请求都 429,连 /health 都被拦,K8s 探针失败把 Pod 摘了,雪上加霜。 Lua 脚本里 refill 是这么写的:local now = redis.call('TIME')[1],只取秒。同一秒内的所有请求 elapsed 都是...

SSR 缓存命中率 30% 回源 500 ms | 带 utm 的 URL 怎么归一键

陆零云 26 0
SSR 上了 Redis 缓存,两周命中率只有 30%,回源 TTFB 500ms,机器负载比不缓存的时候还高。redis-cli info stats 里 keyspace_hits 和 keyspace_misses 一比就露馅了。 捞了一小时的键名,同一个详情页有十几种写法:带 utm_source 的、带 fbclid 的、带 from=share 的,还有末尾斜杠不一致的。每种都算新键,缓存等于没做。 改成按 path 归一,查询参数走白名单,只...

2 亿条数据去重内存放不下 布隆过滤器 1.5% 误判怎么定

陆零云 34 0
爬虫队列要去重,历史 URL 加起来 2 亿条。机器 24G 内存,但同一台上还有数据库和几个服务,实际能给 8G。最开始用 Python set 存字符串,跑到 6000 万条就被 OOM killer 干掉,RSS 到 19G。每条 URL 平均 78 字节,加上 set 的哈希表和字符串对象头,一条实际要 300 多字节,2 亿条根本装不下。 换成布隆过滤器。误判率 p 和位数组的关系是 m = -n ln p / (ln 2)^2,n 取 2 亿,...

PHP 8.3 装 redis 6.0 扩展报 module API 版本不一致怎么降级

陆零云 36 0
现象 服务器把 PHP 从 8.1 升到 8.3 后,FPM 启动日志出现 PHP Warning: PHP Startup: redis: Unable to initialize module,Module compiled with module API=20220829, PHP compiled with module API=20230831。php -m 里没有 redis,业务连接缓存时直接报 Class "Redis" not found...

Redis 执行 KEYS * 报 ERR timeout 超时 怎么用 SCAN 游标遍历不阻塞主线程

陆零云 29 0
现象:Redis 执行 KEYS * 报 ERR timeout 上线后偶尔监控告警 Redis 主线程阻塞超过 1 秒,排查发现某个定时任务用 KEYS * 扫描所有 key,key 数量上了 10 万后 KEYS 是 O(N) 全量扫描,直接把主线程卡住了。客户端那边就报 ERR timeout,连接池里的请求全排队等待。 根因:KEYS 是 O(N) 全量扫描,会阻塞主线程 Redis 单线程模型下,KEYS 要遍历整个 keyspace 才能返回结...