Python 3.11 循环起 subprocess 攒了 800 个僵尸进程 怎么回收

陆零云 34 0
巡检脚本用 Python 3.11 写,主循环里每 30 秒起一个 subprocess 调 nmap,只 Popen 不 wait,跑了一天服务器上 ps 里出现 800 多个 defunct 进程,内存也被吃掉一截。 第一反应是脚本自己泄漏,kill 掉主进程后僵尸还在,得等父进程退出才被 init 收走。ps 里状态是 Z,/proc 下 status 的 State 写着 Z (zombie),说明子进程早就退出了,只是没人回收。 僵尸是父进程没有...

Python 3.11 线程池 submit 的异常不抛出来 怎么查

陆零云 31 0
数据清洗任务用 concurrent.futures 的线程池跑 5 万条记录,提交方式是 executor.submit(clean, row),返回值没人接。跑完打印进度 100%,落到库里的却只有 49700 条,少的 300 条没有任何日志。 第一反应是数据库写入失败,翻了 MySQL 的错误日志,干干净净。又把 clean 函数里的异常捕获去掉重跑,结果一样,进程退出码还是 0,像是那些行从来没被提交过。 问题在 submit 的返回对象上。Fu...

Python 3.11 的 gather 一个协程抛错 为什么其余任务还在跑

陆零云 32 0
批量抓取脚本用 Python 3.11 的 asyncio,200 个页面并发,任务列表直接丢给 gather,没加 return_exceptions。跑到第 37 个时某个页面返回 404,aiohttp 抛 ClientResponseError,整个 gather 立刻把异常抛出来,主函数退出。 第一反应是进程挂了,看日志才发现后面还有十几条 Task was destroyed but it is pending 的告警。gather 在第一个异...

Python 3.11 输出接口数据时 datetime 报 TypeError 该换哪种序列化

陆零云 33 0
报表导出接口跑在 Python 3.11 加 Flask 上,数据从 MySQL 取出来直接塞进 dict,json.dumps 一调用就抛 TypeError: Object of type datetime is not JSON serializable。本地用 sqlite 测的时候字段是字符串,一直没暴露,换到线上 MySQL 的 DATETIME 才炸。 第一反应是给 dumps 加 default=str,接口立刻能返回了。前端把时间显示成...

Python 3.11 在 Windows 跑 multiprocessing 子进程一直重复启动 保护段怎么加

陆零云 32 0
Windows Server 2019 上跑 Python 3.11 的批处理,multiprocessing.Pool(8) 起了之后,任务管理器里进程数一路涨到 60 多个,CPU 打满,同一批数据被处理了好几遍。Linux 上同样的代码跑了半年没出过事。 第一反应是池子没关,加了 close 和 join,进程数还是涨。看日志发现每个子进程启动时都在打印模块顶层的初始化语句,才知道 Windows 只有 spawn 一种启动方式,子进程会重新 imp...

nohup 跑 Python 3.11 脚本 print 日志一直为空 缓冲该关哪一层

陆零云 33 0
Python 3.11 写的数据同步脚本,本地跑日志一行一行往外冒,放到服务器上 nohup python sync.py & 之后,tail -f 半小时什么都没有。kill 掉进程的瞬间,两千多行日志一次性刷进文件,时间戳全挤在退出那一刻。 第一反应是 print 被重定向丢了,查了 lsof 确认 fd 1 指向 sync.log。真正的原因是缓冲:stdout 接终端时是行缓冲,接文件或管道时切成全缓冲,默认 8KB 一块,脚本输出慢,攒不...

pip 23.3 装包报 ResolutionImpossible 两个依赖互相锁死怎么拆约束

陆零云 32 0
CI 上装依赖,pip 23.3 直接报 ERROR: conflicting dependencies,最后一行是 ResolutionImpossible。本地能装,是因为本地环境里早就装好了旧版本,pip 没动它。 我第一反应是 pip 版本太老,升到最新还是一样。用旧版解析器开关确实能装完,运行时却抛 ImportError,装出来的组合根本不能用,这个开关只是把冲突藏起来。 把依赖树打出来才看清,A 库要求 requests<2.29,B...

Python 3.11 用 py-spy 看到 400 个线程全停在 futex 怎么定位哪把锁

陆零云 32 0
Python 3.11 的查询服务,8 核 16G,平时 QPS 900。周一早上掉到 30,CPU 只有 15%,接口 p99 从 180 毫秒涨到 8 秒,监控上没有报错,只有超时。 我第一反应是 GIL 争抢,但 GIL 只会让 CPU 打满,不会让使用率掉下来。用 py-spy dump --pid 抓了一份,400 个线程里 398 个停在 futex,栈顶都是 threading.Lock.acquire,只有一个线程在跑。 顺着栈找到那把锁,...

Python 3.10 解析带 Z 后缀的时间报 Invalid isoformat string 怎么补

陆零云 29 0
Python 3.10.9 的接口收到前端 toISOString() 生成的时间,形如 2026-11-11T02:30:00.000Z,交给 datetime.fromisoformat 直接抛 ValueError: Invalid isoformat string。这个格式在浏览器里是标准输出,在 3.10 的标准库里却不认结尾的 Z。 我第一反应是让前端改成 +00:00 再发。前端试了一圈回来说 iOS 的 toISOString 固定输出 Z...

Python 3.11 读 GBK 日志报 0x80 解码错:errors 该设哪个值

陆零云 32 0
日志采集脚本跑在 Python 3.11.7 上,每天 6 点处理 12 万行 IIS 日志,open 时写死 encoding="gbk"。周一直接报 UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 1023,整批日志卡住,下游报表空了 4 小时。 第一反应是文件被写坏了。用 file 看结果是 ISO-8859 text,不是纯 GBK。又怀疑编码写错,改成 utf-...