pandas 读 3GB CSV 内存爆掉 分块大小和 dtype 怎么定

3.1 GB 的订单明细 CSV,1800 万行、24 列,在 16 GB 内存的机器上 pd.read_csv 跑到一半进程就没了。dmesg 里是 Out of memory: Killed process 18422 (python3),不是 MemoryError,是内核直接杀的。

按行数估一下,默认 dtype 下整数列是 int64,8 字节一行;真正占地方的是字符串列,object 数组存指针,每个字符串对象还带 49 字节的头,一列 1800 万行的订单号要 1.4 GB。六列文本加起来十几 G,16 G 内存装不下是必然的。

第一次优化只加了 usecols,砍掉 6 列没用的,内存降到 11 GB,还是被杀。第二次把所有字符串列写成 dtype='category',结果订单号这种 900 万唯一值的列编码后反而更慢,内存也只降了 300 MB,类别字典本身要占。

最后靠 chunksize 分批。每批 20 万行,读完就做聚合,不保留原表,中间结果写 parquet。峰值内存从 14 GB 掉到 2.3 GB,3.1 GB 的文件 2 分 40 秒跑完,比原来直接读还快一点,因为不再频繁 GC。

dtype 的写法有讲究,日期列用 parse_dates 单独指定,否则前 20 万行推断成字符串,后面整批都按字符串处理。金额列用 float32 会掉精度,这里保持 float64,两列加起来才 300 MB,不值得省。

import pandas as pd

dtypes = {
    'order_id': 'int64',
    'sku': 'category',
    'amount': 'float64',
    'status': 'category',
}
cols = list(dtypes) + ['created_at']

def chunks(path):
    return pd.read_csv(path, usecols=cols, dtype=dtypes,
                       parse_dates=['created_at'],
                       chunksize=200000)

total = 0.0
for part in chunks('orders.csv'):
    total += part.loc[part.amount > 0, 'amount'].sum()
print(total)

engine='pyarrow' 我也试了,同样文件读取时间从 96 秒压到 34 秒,代价是 2.1.4 里 pyarrow 对 category 的处理和 C 引擎不完全一致,我这边有一列布尔值读出来变成 object 了。生产上还是用 C 引擎分批,pyarrow 只在临时分析时开。

结果表写到 orders_sum.parquet,6.8 MB。脚本里的 chunksize 现在固定 200000,往下调到 5 万,总时间会多 40 秒,往上到 50 万峰值内存又摸到 5 GB。

您可以还会对下面的文章感兴趣: