短信账单重复发了 1.8 万条。查下来是每天的账单任务在两台机器上各跑了一遍,用户收到两条一样的推送。
任务挂在 Crontab 里,两台机器的配置一模一样。之前只有一台,扩容之后没人想起来这回事,定时任务跟着代码一起上了新机器。
第一反应是加个文件锁。flock 在本机有效,跨机器完全没用。两台机器各锁各的,问题照旧。
换成 Redis 的 SET NX EX。key 用任务名加日期,过期时间设成任务最长执行时间的两倍,抢到锁的才执行。
$ok = $redis->set("lock:bill:" . date("Ymd"),
getmypid(), ["nx", "ex" => 3600]);
if (!$ok) { exit(0); }
跑了一周又出问题。任务执行到 40 分钟时进程被 kill,锁还在,那天的任务谁也没跑。锁没设自动续期,也没在 finally 里删。
补两件事。执行完在 finally 里比对 value 再删,避免误删别人的锁;任务内部每 10 分钟续期一次,用 Lua 保证 compare 和 expire 原子。
if redis.call("get", KEYS[1]) == ARGV[1] then
return redis.call("expire", KEYS[1], ARGV[2])
end
return 0
还有一个更根本的问题。锁只能防重复,防不了漏跑。任务失败或者机器挂了,当天就少一次。任务表加一列 last_run_date,跑之前先查,跑完更新,补偿脚本按日期扫漏。
确认:两台机器同时触发,日志里只有一台打印开始;手动 kill 执行中的进程,等锁过期后重跑能接上;连续观察 7 天,推送条数和订单数一一对应。
任务拆得越细,锁的粒度越要跟着细。一个锁罩住整批任务,等于把并行能力也锁死了,现在按商户维度分片,每片一把锁。
