3.1 GB 的订单明细 CSV,1800 万行、24 列,在 16 GB 内存的机器上 pd.read_csv 跑到一半进程就没了。dmesg 里是 Out of memory: Killed process 18422 (python3),不是 MemoryError,是内核直接杀的。
按行数估一下,默认 dtype 下整数列是 int64,8 字节一行;真正占地方的是字符串列,object 数组存指针,每个字符串对象还带 49 字节的头,一列 1800 万行的订单号要 1.4 GB。六列文本加起来十几 G,16 G 内存装不下是必然的。
第一次优化只加了 usecols,砍掉 6 列没用的,内存降到 11 GB,还是被杀。第二次把所有字符串列写成 dtype='category',结果订单号这种 900 万唯一值的列编码后反而更慢,内存也只降了 300 MB,类别字典本身要占。
最后靠 chunksize 分批。每批 20 万行,读完就做聚合,不保留原表,中间结果写 parquet。峰值内存从 14 GB 掉到 2.3 GB,3.1 GB 的文件 2 分 40 秒跑完,比原来直接读还快一点,因为不再频繁 GC。
dtype 的写法有讲究,日期列用 parse_dates 单独指定,否则前 20 万行推断成字符串,后面整批都按字符串处理。金额列用 float32 会掉精度,这里保持 float64,两列加起来才 300 MB,不值得省。
import pandas as pd
dtypes = {
'order_id': 'int64',
'sku': 'category',
'amount': 'float64',
'status': 'category',
}
cols = list(dtypes) + ['created_at']
def chunks(path):
return pd.read_csv(path, usecols=cols, dtype=dtypes,
parse_dates=['created_at'],
chunksize=200000)
total = 0.0
for part in chunks('orders.csv'):
total += part.loc[part.amount > 0, 'amount'].sum()
print(total)
engine='pyarrow' 我也试了,同样文件读取时间从 96 秒压到 34 秒,代价是 2.1.4 里 pyarrow 对 category 的处理和 C 引擎不完全一致,我这边有一列布尔值读出来变成 object 了。生产上还是用 C 引擎分批,pyarrow 只在临时分析时开。
结果表写到 orders_sum.parquet,6.8 MB。脚本里的 chunksize 现在固定 200000,往下调到 5 万,总时间会多 40 秒,往上到 50 万峰值内存又摸到 5 GB。
