queue:work 那台机器跑了三天,监控上 RSS 从 82M 爬到 1.24G,凌晨被 OOM killer 干掉,Supervisor 又把它拉起来,队列里积压的两万条任务重跑一遍,有几十条重复发货。
第一反应是数据库连接泄漏。把 DB::getConnections() 打出来,始终只有 1 个,排除。接着怀疑日志,队列里每个任务写一行 info,句柄不关也不会涨内存。
加了个探针,每处理一千个任务打一次 memory_get_usage(true)。曲线是阶梯形的,每千个任务涨 18M 左右,涨得均匀,不像某类任务特别重。按任务类型分组再看,五种涨得都差不多,问题在公共部分。
公共部分只有两处,一个 HTTP 客户端,一个事件监听器。搜代码发现监听器是在每个 Job 的 handle 里注册的,Event::listen('order.paid', ...)。这个注册是全局的,任务处理完不注销,跑一万个任务就堆一万个闭包,每个还抓着当时的 $this 和上下文。
HTTP 客户端那处也没好到哪去,每次 new CLIent 都新建一套 handler 栈,旧的靠引用计数回收,一旦有循环引用就留了下来。
改法是把监听器挪到服务提供者,进程启动时注册一次,闭包不抓 $this,改调静态方法。客户端改成容器里的单例,构造函数注入。
command=php /data/www/artisan queue:work --max-jobs=5000
stdout_logfile=/var/log/supervisor/queue.log
printf("%.1fMB\n", (memory_get_usage(true) - $base) / 1048576);
改完先不加 max-jobs,直接跑,三天后 RSS 稳定在 118M 上下,不再往上涨。为了保险还是加了 --max-jobs=5000,处理五千个任务自动退出,Supervisor 拉一个新的,内存有个硬上限。
顺带把 stopwaitsecs 从 10 调到 60,之前进程被 SIGTERM 打断时手上那个任务写了半条数据。任务侧加了幂等键,重复消费不会再发一次货。
