Python 3.11 循环起 subprocess 攒了 800 个僵尸进程 怎么回收

巡检脚本用 Python 3.11 写,主循环里每 30 秒起一个 subproCess 调 nmap,只 Popen 不 wait,跑了一天服务器上 ps 里出现 800 多个 defunct 进程,内存也被吃掉一截。

第一反应是脚本自己泄漏,kill 掉主进程后僵尸还在,得等父进程退出才被 init 收走。ps 里状态是 Z,/proc 下 status 的 State 写着 Z (zombie),说明子进程早就退出了,只是没人回收。

僵尸是父进程没有调 wait 或 waitpid 造成的。Popen 只是 fork 加 exec,子进程结束后会留一个退出状态在内核里等父进程读,父进程不读,它就一直是 Z,占着 pid 和一点内核内存,pid 号段被耗光后新进程就起不来。

试过在循环末尾加 time.sleep 等它自己消失,没用。也试过 os.waitpid(-1, os.WNOHANG) 手动收,能清掉一批,但和 Popen 内部的 poll 抢同一个子进程,偶尔抛 ChildProcessError,得包 try。

最后还是用回 Popen 加 communicate,带 timeout,超时就 kill 再 communicate 一次。communicate 会读到 EOF 并内部 wait,僵尸当场回收。nmap 这种可能跑很久的命令,超时值按实测的 p99 给 45 秒,捕获 TimeoutExpired 后先 terminate,五秒不退再 kill。

还有一种写法是把 SIGCHLD 设成 SIG_IGN,让内核自动回收,省掉 wait。副作用是同一进程里别的 waitpid 调用会拿不到子进程状态,脚本里如果还用了 subprocess.run 就会偶发异常,所以我没选。

确认口径:连跑 24 小时,ps -ef 里 defunct 计数为 0;pid 占用不随时间增长;人为让 nmap 卡住,45 秒后进程被杀掉且没有残留。

p = subprocess.Popen(cmd, stdout=subprocess.PIPE)
try:
    out, err = p.communicate(timeout=45)
except subprocess.TimeoutExpired:
    p.kill()
    out, err = p.communicate()

您可以还会对下面的文章感兴趣: