Python 3.11 在 Windows 跑 multiprocessing 子进程一直重复启动 保护段怎么加

陆零云 32 0
Windows Server 2019 上跑 Python 3.11 的批处理,multiprocessing.Pool(8) 起了之后,任务管理器里进程数一路涨到 60 多个,CPU 打满,同一批数据被处理了好几遍。Linux 上同样的代码跑了半年没出过事。 第一反应是池子没关,加了 close 和 join,进程数还是涨。看日志发现每个子进程启动时都在打印模块顶层的初始化语句,才知道 Windows 只有 spawn 一种启动方式,子进程会重新 imp...

Python 3.11 多进程报错 Can't pickle 闭包函数到底怎么改

陆零云 32 0
图片批处理脚本在 Windows 上跑,用 multiprocessing.Pool(8) 分发 3000 个文件,主进程直接退出,每个子进程都在抛 AttributeError: Can't pickle local object 'run.<locals>.one'。同一份代码在 Linux 测试机上跑得好好的,换到 Windows 才炸。 第一反应是路径问题,把 os.path 相关的写法翻了一遍,改成绝对路径照旧。后来才想明白:Wind...