短信队列积压到 4 万条,消费者进程还在,CPU 0.3%,ps 里状态是 S。用 strace 挂上去,卡在 brpop 上,一动不动。
第一反应是生产端没投递。redis-CLI llen 显示队列长度一直在涨,说明投递没问题,是消费端不动。代码里写的是 brpop($key, 0),0 表示永不超时。
Redis 侧配了 timeout 300,空闲连接会被服务端断开。按说断开后 brpop 应该返回 false 或者抛异常,但 phpredis 在这个版本里连接被踢掉后 socket 仍然可读,brpop 就一直等。这一条文档里没有,是抓包看到的。
试过在脚本里加 pcntl_alarm(30),用信号打断阻塞。CLI 下能用,但信号处理里抛异常会打断 phpredis 的内部状态,第二次调用直接报 connection lost。也试过 setReadTimeout,brpop 不受它控制。
换方案是给 brpop 一个 5 秒超时,返回 false 时 ping 一次,ping 失败就重建连接。多一次空轮询的成本可以忽略,5 秒一次,单进程一天一万七千次。
while (true) {
$r = $redis->brpop($queue, 5);
if ($r === false || count($r) !== 2) {
if (!$redis->ping()) {
$redis = new Redis();
$redis->connect('127.0.0.1', 6379, 2.0);
}
continue;
}
handle($r[1]);
}
改完观察两天,积压清零,worker 日志里每分钟出现一次 reconnect,都在预期内。顺手把重试次数和死信队列也补上了。
另一个细节:brpop 返回的是 key 和 value 两项,判断空不能只看 $r === false,还要看 count($r) 是否等于 2,否则解析出错会把空数组塞进业务。
