陆零云
2026-11-11 11:43:19
33
0
Python 3.11 写的采集程序,8 个线程抓完就写本地 sqlite3,跑十几分钟开始报 sqlite3.OperationalError: database is locked,重试三次仍然失败,队列里积了 6 万条没落库。
第一反应是没设超时,connect 时带上 timeout=30,情况好了一些,但每小时仍有 200 多条失败。默认的 busy_timeout 只是让它在锁上排队等,锁本身一个都没少。
翻日志找到一个线程一次 execute...
陆零云
2026-11-11 10:19:39
32
0
图片批处理脚本在 Windows 上跑,用 multiprocessing.Pool(8) 分发 3000 个文件,主进程直接退出,每个子进程都在抛 AttributeError: Can't pickle local object 'run.<locals>.one'。同一份代码在 Linux 测试机上跑得好好的,换到 Windows 才炸。
第一反应是路径问题,把 os.path 相关的写法翻了一遍,改成绝对路径照旧。后来才想明白:Wind...
陆零云
2026-11-11 09:50:03
33
0
Python 3.11 的采集脚本用 subprocess.run 调一个会刷进度条的外部程序,参数里写了 capture_output=True。小文件正常,遇到 200MB 的包就卡住,top 里两个进程都是 S 状态,CPU 0,一小时后被外层超时 kill。
第一反应是外部程序自己挂了,单独在终端跑同一条命令 40 秒就结束。差别只在 capture_output,也就是 stdout 走了管道。
管道缓冲区默认 64KB,父进程要等子进程结束才去...
陆零云
2026-11-11 09:39:16
34
0
Python 3.11.7 的服务里有一段日志配置,跑单元测试时每条 INFO 都打印两遍,第一遍带时间戳,第二遍是裸格式。生产上用 gunicorn 起了 4 个 worker,一个请求的日志在文件里出现 8 行,同一个 trace_id 被算了两次,报表里的请求量直接翻倍。
第一反应是代码里重复调用了 basicConfig。全局搜了一遍只有一处,还包在 if not logger.handlers 里,理论上不该重复注册。
把 logger.hand...
陆零云
2026-11-10 20:24:57
32
0
Python 从 3.11 升到 3.12,服务启动时刷出一屏 SyntaxWarning: invalid escape sequence,指向一个正则常量所在的行。功能没受影响,但日志被这些告警占满,真正的异常被埋到后面,值班同事翻了半小时才找到。
第一反应是给所有字符串加 r 前缀,改完大半,有一处反而出错:那个串里同时写了换行转义想保留真实换行,加了 r 之后它就变成两个普通字符,正则匹配不到换行,测试用例当场红。
分清楚才敢动手,纯正则的串加 r...
陆零云
2026-11-10 13:18:02
30
0
运营丢过来一个 CSV,脚本第一行就炸:UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte。文件不到 3MB,改扩展名之前是 xls,估计被 Excel 另存过一次。
先试 errors="ignore",能读但结果是空列表,等于把内容全丢了。换 gbk 报 0x81 不是合法起始字节,big5 在第三行断掉,到这里基本能确定它...
陆零云
2026-11-10 13:15:20
35
0
容器里跑了三天,Pod 被 OOMKilled,限制是 2Gi,重启前 RSS 已经到 2.4G。翻代码发现解析函数挂着 @lru_cache(maxsize=None),key 是一个带 trace_id 的路径参数,一天几十万条,缓存只增不减。
第一反应是内存碎片,加了 gc.collect() 又调了 malloc_trim,RSS 一点没降。用 tracemalloc 打两份快照对比,前三位全是 functools 里的 dict entry,这才...
陆零云
2026-11-10 13:12:39
37
0
报错原文是 RuntimeError: asyncio.run() cannot be called from a running event loop,栈底那行落在 uvicorn 的 run_until_complete 上。Python 3.11 加 FastAPI,一个 async 端点里调了旧代码封装的同步函数,那个函数内部又用 asyncio.run 去拉起 httpx.AsyncClient。这段代码上线半年没动过,加了一条新路由才把它带出来...
陆零云
2026-11-10 11:05:40
32
0
日志清洗脚本跑在 Python 3.11 上,一条字段校验正则是 ^(\w+\s?)+$,用来判断内容是不是纯单词加空格。上线后某台机器 CPU 打到 100%,一条 200 字符的脏数据让单进程卡了 90 秒,整批日志积压到 40 万行。
把那条字符串单独拎出来在本地跑,确实卡死。嵌套量词遇到不匹配的尾部会指数级回溯,200 个字符足够让组合数爆炸,耗时跟数据总条数无关,只跟那一条的尾巴长什么样有关。
试过给 re 加超时,标准库没有这个参数,只有第三方...
陆零云
2026-11-10 10:55:27
26
0
线上统计脚本跑在 Python 3.11.6 上,维护一个 120 万 key 的字典做调用计数,遍历时顺手把过期项 pop 掉,跑到第 7 分钟抛 RuntimeError: dictionary changed size during iteration,脚本直接退出,当小时的统计缺了一段。
改成 for k in list(d.keys()) 确实不报错了,内存立刻涨了 40MB,而且这层拷贝在 120 万 key 上每次遍历要 80 毫秒,脚本原本...