Python 3.11 线程池 submit 的异常不抛出来 怎么查

数据清洗任务用 concurrent.futures 的线程池跑 5 万条记录,提交方式是 executor.submit(clean, row),返回值没人接。跑完打印进度 100%,落到库里的却只有 49700 条,少的 300 条没有任何日志。

第一反应是数据库写入失败,翻了 MySQL 的错误日志,干干净净。又把 clean 函数里的异常捕获去掉重跑,结果一样,进程退出码还是 0,像是那些行从来没被提交过。

问题在 submit 的返回对象上。Future 里存着执行结果和异常,没人调用 result() 或 exception(),异常就一直躺在 Future 里,主线程完全感知不到。线程池的 worker 捕获异常后不会打印,也不会中断其他任务,5 万条里有几条炸了,表面上一切正常。

试过在 clean 内部整体包 try 并打日志,异常能看到,但日志和进度条对不上号,也不知道该重跑哪几条。而且有些错误是在 future 完成回调里抛的,包在函数内部根本拦不住。

改成收集所有 Future,用 as_completed 遍历并逐个调 result(),异常在这里被重新抛出,记下带行号的错误信息。失败的行号单独存一份,跑完统一重试一次,仍然失败的写进死信文件。

确认口径:5 万条跑完 bad 列表 0 条,库里 count 与源文件行数一致;人为把第 100 行改成非法值,任务结束时能报出这一行并退出码非 0;连续跑三次结果稳定。

with ThreadPoolExecutor(max_workers=16) as pool:
    futs = {pool.submit(clean, i, row): i for i, row in rows}
    for f in as_completed(futs):
        try:
            f.result()
        except Exception as e:
            bad.append((futs[f], str(e)))

您可以还会对下面的文章感兴趣: