Python 3.11 在 Windows 跑 multiprocessing 子进程一直重复启动 保护段怎么加

Windows Server 2019 上跑 Python 3.11 的批处理,multiprocessing.Pool(8) 起了之后,任务管理器里进程数一路涨到 60 多个,CPU 打满,同一批数据被处理了好几遍。Linux 上同样的代码跑了半年没出过事。

第一反应是池子没关,加了 close 和 join,进程数还是涨。看日志发现每个子进程启动时都在打印模块顶层的初始化语句,才知道 Windows 只有 spawn 一种启动方式,子进程会重新 import 主模块,模块级的 Pool(...) 于是又被执行一次,递归生下去。

试过把 Pool 放进函数,调用前加 if os.name == "nt",能少起几层,但任务还是重复,因为顶层的数据加载也跟着执行。根上的修法是标准写法:所有启动代码放进 if __name__ == "__main__" 保护段,子进程 import 时这段不执行。

打成 exe 分发时又多一步,PyInstaller 的引导程序会再拉起一个进程,必须调 freeze_support(),否则每台机器都会看到两个窗口和两套日志。这个函数在源码运行时是空操作,加上不影响 Linux。

还有一处性能差异,spawn 不继承父进程内存,每个子进程都要重新加载 1.2G 的词典,启动时间从 0.8 秒变成 6 秒。后来改成把词典放进共享内存,或者干脆用线程加会释放 GIL 的扩展,视任务类型定。

确认口径:任务管理器里稳定 9 个进程,1 主 8 子;1000 条任务每条只处理一次,输出行数正好 1000;连续跑 5 轮,日志里没有重复的批次号。

def main():
    with Pool(8) as p:
        p.map(work, range(1000))

if __name__ == "__main__":
    freeze_support()
    main()

您可以还会对下面的文章感兴趣: