Python 3.11 多进程报错 Can't pickle 闭包函数到底怎么改

图片批处理脚本在 Windows 上跑,用 multiproCessing.Pool(8) 分发 3000 个文件,主进程直接退出,每个子进程都在抛 AttributeError: Can't pickle local object 'run.<locals>.one'。同一份代码在 Linux 测试机上跑得好好的,换到 Windows 才炸。

第一反应是路径问题,把 os.path 相关的写法翻了一遍,改成绝对路径照旧。后来才想明白:Windows 只有 spawn 一种启动方式,子进程要重新 import 主模块,传过去的函数必须能被 pickle,定义在函数体里的闭包天然不行。

试过把函数挪到模块顶层,报错变成 Can't pickle local object 'connect.<locals>.<lambda>',因为那个 worker 顺手引用了外面创建的数据库连接对象,连接里带着 socket,一样序列化不了。

又试 dill,能跑,但每个任务把整个对象图序列化一遍,单文件耗时从 0.12 秒涨到 0.4 秒,8 个进程内存峰值 3.2G,16G 的机器直接吃满,不可行。

换 ThreadPoolExecutor,3000 个文件跑了 21 分钟,CPU 只用到 130%。解码和缩放都是纯计算,GIL 一卡,多线程等于排队,这条路走不通。

最后改成:worker 提到模块顶层,只收路径和参数;连接由 Pool 的 initializer 在每个子进程里各建一份,挂在模块级全局;主进程入口加 if __name__ == '__main__' 保护,否则 spawn 会把主模块再执行一遍,Pool 无限递归创建,机器直接卡死。

传参也有讲究。3000 个路径一次性 map 过去,任务队列的序列化开销占了 1.4 秒,换成 imap_unordered 加 chunksize=64 后降到 0.2 秒,乱序返回正好符合入库不要求顺序的场景。

确认口径:8 进程跑完 3000 个文件 6 分 40 秒,比线程版快 3 倍;子进程 RSS 稳定在 420MB,不随任务数增长;任务失败时 imap 能带出文件名,日志里不用再靠猜。

def _init(dsn):
    global _con
    _con = connect(dsn)

if __name__ == "__main__":
    with Pool(8, _init, (DSN,)) as pool:
        for name, ok in pool.imap_unordered(_one, paths, 64):
            save(name, ok)

您可以还会对下面的文章感兴趣: