RabbitMQ 消息堆到 3000 条不消费 | prefetch 到底怎么设

订单超时取消的队列从早上开始堆,管理页面看到 ready 3000、unacked 3000、consumers 8。发布速率每秒 12 条,消费速率是 0,消费者进程都在,CPU 5%,日志里没有异常堆栈。

第一反应是绑定掉了。进 Queues 页看 bindings,exchange 到队列的路由键都在,手工发一条也能入队,生产端没问题。

重启消费者,起来后消费四十多条又停住。这次日志里多了一句 missed heartbeats from CLIent, timeout: 60s,broker 主动把连接关了。进程没退出,重连线程在等,界面看着还活着。

问题在 prefetch。配置写的是 500,8 个消费者一次抓走 4000 条压在本地。单条处理 800 毫秒,其中 200 毫秒在等物流接口。线程池核心数只有 4,任务在队列里排,连处理心跳的线程也被占住,60 秒发不出心跳就被踢下线。

先试过把心跳调大,requestedHeartbeat 设成 120,断连时间推后了,但只是把发作周期拉长,积压照旧。

改回源头。prefetch 降到 10,线程池扩到 16,和消费者数量对齐;ack 改成手动,放在 finally 里,异常也提交,避免毒消息反复重投把队列堵死。

@Bean
public SimpleRabbitListenerContainerFactory factory(
        ConnectionFactory cf) {
    var f = new SimpleRabbitListenerContainerFactory();
    f.setConnectionFactory(cf);
    f.setPrefetchCount(10);
    f.setConcurrentConsumers(2);
    f.setMaxConcurrentConsumers(16);
    f.setAcknowledgeMode(AcknowledgeMode.MANUAL);
    return f;
}

还有一个隐藏的坑。这 3000 条里有大半是前一天重投的,delivery 头里 redelivered 是 true。之前消费失败会把消息扔回队列头部,形成循环,队列看着满,实际全是同一条。加了死信队列和重试上限 3 次之后才干净。

确认:unacked 稳定在 80 以内,ready 20 分钟清空,消费速率回到每秒 15 条;再把物流接口延时打到 3 秒,prefetch 为 10 时代吞吐掉到每秒 5 条,但没有断连,说明背压生效了。

prefetch 不是越大越好。它等于单机预取量乘以处理耗时,超过心跳周期就会假死。现在的算法是心跳 60 秒除以单条 0.8 秒再砍一半余量。

您可以还会对下面的文章感兴趣: