Python 3.11 的 gather 一个协程抛错 为什么其余任务还在跑

批量抓取脚本用 Python 3.11 的 aSYNcio,200 个页面并发,任务列表直接丢给 gather,没加 return_exceptions。跑到第 37 个时某个页面返回 404,aiohttp 抛 CLIentResponseError,整个 gather 立刻把异常抛出来,主函数退出。

第一反应是进程挂了,看日志才发现后面还有十几条 Task was destroyed but it is pending 的告警。gather 在第一个异常处就返回,剩下没跑完的协程没人 await,事件循环关掉时它们全成了待销毁的任务,连接池也没正常关闭,aiohttp 又刷了一屏 Unclosed connector。

试过在每个协程里包一层 try,出错就 return None。异常是不往上冒了,可结果列表里混着一堆 None,后面统计成功率时分不清是页面没内容还是请求失败,300 条记录里有 21 条对不上。

改成 return_exceptions=True,gather 会把异常对象原样放进结果列表,不再中断其余任务。遍历时用 isinstance 判断,失败的单独收集重试,成功的才进解析流程。这样并发不变,失败也不会被吞成 None。

有个细节要注意,return_exceptions 只负责收集,不会取消已经在跑的任务。业务上如果第一条失败就该停,得自己写 TaskGroup 或者手动 cancel 剩下的 task,再 await 一遍让取消真正落地。Python 3.11 的 TaskGroup 在异常时会自动取消同组任务,但它的异常是 ExceptionGroup,捕获写法跟 gather 完全不同,迁移时容易漏。

确认口径:构造 200 个 URL 其中 12 个返回 404,脚本跑完输出成功 188 失败 12;日志里没有 pending task 和 unclosed connector;把并发提到 500 再跑一次,内存稳定在 90MB 上下。

res = await asyncio.gather(*tasks, return_exceptions=True)
fails = [r for r in res if isinstance(r, Exception)]
ok = [r for r in res if not isinstance(r, Exception)]

您可以还会对下面的文章感兴趣: