一个清洗日志的脚本,单线程跑 3.4 秒,我把它改成 ThreadPoolExecutor(max_workers=4),同样的输入跑了 5.8 秒。机器 8 核,CPU 使用率只有 130%,核没吃满,时间花在别处。
cProfile 里线程切换的调用占了大量采样,sys.getswitchinterval() 是 0.005,也就是每 5 ms 强制切一次。Python 3.11.6 的解释器锁还是全局的,同一时刻只有一个线程在执行字节码。纯计算任务上开线程,等于把一次等待拆成四次等待,切换本身还要付开销。
判断场景有个笨办法:把任务体换成 time.sleep(0.01),同样 4 个线程立刻跑出 1.1 秒,单线程要 4 秒。这一对比就清楚了,任务里等待占比高的走线程,计算占比高的走进程。
也试过把线程数从 4 加到 16,更慢,7.4 秒,负载跑到 12。上下文切换比计算本身还贵。
换成 ProcessPoolExecutor,4 个进程 1.15 秒,加速比 2.95。8 核没跑满是因为每批数据要 pickle 过去再 pickle 回来,单批 20 万行时这部分占了三成。批次从 2 万调到 20 万之后,整体从 1.6 秒压到 1.15 秒。
from concurrent.futures import ProcessPoolExecutor
import pandas as pd
def clean(path):
df = pd.read_csv(path, dtype={'uid': 'int64'})
return len(df)
if __name__ == '__main__':
files = ['part-%02d.csv' % i for i in range(8)]
with ProcessPoolExecutor(4) as pool:
print(sum(pool.map(clean, files)))
细节:Windows 上必须有那行 if __name__ == '__main__',否则子进程重新导入主模块,递归开进程,直接报 RuntimeError。这条在 Linux 上不写也能跑,换到同事的笔记本上就炸了。
现在脚本开头留了个开关,把 cpu_time 除以 wall_time 算出来,超过 0.7 走进程池,低于走线程池。上次那个日志清洗任务算出来 0.96,一直在进程池里跑。
