十万行 CSV 读进数组就 OOM 卡死 改 yield 后内存从 900MB 降到 2MB

导出功能一直好好的,这个月订单表涨到十二万行,一点导出就白屏。日志里是 Allowed memory size of 268435456 bytes exhausted,256M 全吃满。代码很朴素:file_get_Contents 读 CSV,explode 切行,foreach 拼数组,最后一次性 json_encode 返回。

先试 ini_set('memory_limit', '-1'),能跑,但进程 RSS 冲到 1.2G,机器上还有别的服务,不敢这么干。又试 array_chunk 分批处理,峰值只降一点,因为 file_get_contents 那一步已经把整个文件读进来了,字符串本身四十多兆,explode 之后翻好几倍。

改成生成器。fopen 配 fgetcsv 一行一行读,读一行 yield 一行,外面 foreach 消费,内存立刻回到 2MB 左右。生成器不保存整个数组,只在两次 yield 之间保留当前状态。

function readCsv(string $file): Generator
{
    $fp = fopen($file, 'rb');
    while (($row = fgetcsv($fp, 0, ',', '"', '\\')) !== false) {
        yield $row;
    }
    fclose($fp);
}

几个限制得知道。生成器不能 rewind,foreach 走完就没了,想再遍历得重新调函数。count($gen) 会直接报错,Generator 没实现 Countable。把生成器丢给 json_encode 会得到空对象 {},它不是数组。

我最后的写法是生成器负责读,消费端每 500 条拼一批,分批写文件,峰值 6MB 不到,十二万行跑完 4.2 秒。跟原来一次性时间差不多,但数据再涨也不会崩。

顺带把 fgetcsv 的 escape 参数显式写出来。PHP 8.4 之前不传会有 deprecation 提示,我们跑 8.2.13 还没报,早点写清楚省得以后升级再回来改。

您可以还会对下面的文章感兴趣: