短信任务用 BRPOPLPUSH 做可靠队列,主队列加一个 proCessing 备份队列。跑了两个月,运维说 Redis 内存涨到 6GB,进去一看备份队列堆了三十万条,最早那条是两周前的。
设计上消费成功就 LREM 备份队列,失败不动,由补偿脚本扫描重投。现在堆这么多,只可能是两件事之一:LREM 没删掉,或者失败之后压根没人重投。
先查 LREM。代码写的是 lRem('sms:proc', 1, $job),而 $job 是 json_decode 再 json_encode 回来的字符串,键的顺序和原始串不一样,跟队列里的内容逐字比对不上,永远删不掉。这一步解释了积压,也解释了业务侧反馈任务其实都发出去了。
再查重投。补偿脚本在,crontab 也配了,手动执行一遍却什么都没输出,退出码 0。翻脚本第一行,里面用了 match 表达式,而 crontab 里的 php 是 7.4 的软链,每次 Parse error 输出到 cron 邮件里,没人看。
改法两条。LREM 用 BRPOPLPUSH 返回的原始字符串,不做任何解码;crontab 里写死 php8.3 的绝对路径,脚本开头加一行检查版本,低于 8.0 直接非零退出。
// LREM 必须用原始字符串
$raw = $redis->brPopLPush('sms:queue',
'sms:proc', 5);
if ($raw === null) {
continue;
}
$job = json_decode($raw, true);
if (!is_array($job)) {
$redis->lRem('sms:proc', 1, $raw);
continue;
}
$redis->lRem('sms:proc', 1, $raw);
积压的三十万条没有直接清空。按时间倒序分十批,每批三万条重新推回主队列,消费端加了幂等表,同一个任务号只发一次。清了六个小时,重复发送 0 条。
验证方式是灌十万条任务压测,随机让百分之一的消费抛异常。跑完主队列为空,备份队列只剩那一千条,补偿脚本一轮重投后清零,Redis 内存回落到 900MB。
