一个离线统计脚本要处理 2.1GB 的 aCcess log,用 fgets 逐行读,跑 8 分钟,进程 RSS 涨到 1.8GB。机器只有 4GB,同时跑两个就触发 OOM killer,日志处理任务半夜被杀了三次。
第一反应是有数组在累积。把脚本从头翻到尾,没有 $lines[] 这种写法,也没有把结果全塞进一个数组再输出的地方。memory_limit 在 CLI 下是 -1,不受限,所以也没报 Allowed memory size exhausted,问题一直藏着。
加了几行探针,每 50 万行打印 memory_get_usage(true) 和 memory_get_peak_usage(true)。逻辑内存一直在 40MB 上下,峰值却是 1.9GB,说明不是缓慢泄漏,而是某一刻突然吃满。把行号打出来,定位到第 137 万行附近。
把那一行单独捞出来,长度 118MB。采集端出了一次故障,一条日志没写换行,后面几十万行的内容全粘在一起。fgets 在不传第二个参数时没有长度上限,遇到这种没有换行的超长行,会一直读到文件末尾,整条读进内存,后面的 preg_match 再复制一份,1.9GB 就出来了。
另一个容易误判的点是 RSS 不下降。PHP 的 Zend 内存管理器拿到页之后一般不还给操作系统,unset 之后 memory_get_usage 会降,RSS 不降是正常现象。判断有没有泄漏要看 memory_get_usage 的曲线,看 RSS 会得出错误结论。
while (($line = fgets($fh, 8192)) !== false) {
if (!str_ends_with($line, "
")) {
$bad++;
continue;
}
$n++;
if ($n % 500000 === 0) {
printf("%d %.1fMB
", $n,
memory_get_usage(true) / 1048576);
}
}
改成限长读取,超过 8KB 还没换行的直接丢掉并计数。同样的文件重跑,峰值 96MB,统计出的行数跟 wc -l 一致,被丢掉的 3 条畸形行单独写进了 bad.log。
处理完把 bad.log 发给采集端那边,他们加了单条日志 64KB 的上限。脚本这边保留了限长参数,下次再遇到同类问题不会再撑爆内存。
