Python 3.11 subprocess 输出超 64KB 就卡死:管道该同步读还是重定向

Python 3.11 的采集脚本用 subprocess.run 调一个会刷进度条的外部程序,参数里写了 capture_output=True。小文件正常,遇到 200MB 的包就卡住,top 里两个进程都是 S 状态,CPU 0,一小时后被外层超时 kill。

第一反应是外部程序自己挂了,单独在终端跑同一条命令 40 秒就结束。差别只在 capture_output,也就是 stdout 走了管道。

管道缓冲区默认 64KB,父进程要等子进程结束才去读,子进程写满缓冲区就阻塞,两边互等,这就是死锁。stderr 也是管道,进度条写的是 stderr,一样会堵。

试过把 capture_output 去掉直接继承终端,不卡了,但脚本跑在 cron 里没有终端,输出全丢。也试过只加 timeout=3600,等于把卡死推迟到一小时后报错,问题还在。

改成 Popen 加两个线程分别读 stdout 和 stderr,边读边落文件,读完再 wait。更省事的是 stdout 直接重定向到文件对象,不走管道,内核不会因缓冲区满而阻塞,stderr 用 STDOUT 合并成一路。

另一个坑是 shell=True 时命令串里带管道,kill 掉的是外层 sh,真正干活的进程还活着,wait 返回之后文件继续变大。这种场景要加 start_new_session 然后用 killpg 收整个进程组。

确认口径:同一个 200MB 包跑三次,最慢 52 秒结束,进程不会停在 S 状态;输出文件大小和终端直跑一致;再让外部程序往 stderr 刷 500MB,脚本同样能跑完。

with open("build.log", "wb") as f:
    p = subprocess.Popen(cmd, stdout=f,
                         stderr=subprocess.STDOUT)
    rc = p.wait()

您可以还会对下面的文章感兴趣: