十万行 CSV 读进数组就 OOM 卡死 改 yield 后内存从 900MB 降到 2MB

陆零云 38 0
导出功能一直好好的,这个月订单表涨到十二万行,一点导出就白屏。日志里是 Allowed memory size of 268435456 bytes exhausted,256M 全吃满。代码很朴素:file_get_contents 读 CSV,explode 切行,foreach 拼数组,最后一次性 json_encode 返回。 先试 ini_set('memory_limit', '-1'),能跑,但进程 RSS 冲到 1.2G,机器上还有别的服务...

pandas 读 3GB CSV 内存爆掉 分块大小和 dtype 怎么定

陆零云 31 0
3.1 GB 的订单明细 CSV,1800 万行、24 列,在 16 GB 内存的机器上 pd.read_csv 跑到一半进程就没了。dmesg 里是 Out of memory: Killed process 18422 (python3),不是 MemoryError,是内核直接杀的。 按行数估一下,默认 dtype 下整数列是 int64,8 字节一行;真正占地方的是字符串列,object 数组存指针,每个字符串对象还带 49 字节的头,一列 180...