Python 3.11 的 sqlite3 多线程并发写报错 database is locked 怎么排

陆零云 33 0
Python 3.11 写的采集程序,8 个线程抓完就写本地 sqlite3,跑十几分钟开始报 sqlite3.OperationalError: database is locked,重试三次仍然失败,队列里积了 6 万条没落库。 第一反应是没设超时,connect 时带上 timeout=30,情况好了一些,但每小时仍有 200 多条失败。默认的 busy_timeout 只是让它在锁上排队等,锁本身一个都没少。 翻日志找到一个线程一次 execute...

Python 3.11 多进程报错 Can't pickle 闭包函数到底怎么改

陆零云 32 0
图片批处理脚本在 Windows 上跑,用 multiprocessing.Pool(8) 分发 3000 个文件,主进程直接退出,每个子进程都在抛 AttributeError: Can't pickle local object 'run.<locals>.one'。同一份代码在 Linux 测试机上跑得好好的,换到 Windows 才炸。 第一反应是路径问题,把 os.path 相关的写法翻了一遍,改成绝对路径照旧。后来才想明白:Wind...

Python 3.11 subprocess 输出超 64KB 就卡死:管道该同步读还是重定向

陆零云 33 0
Python 3.11 的采集脚本用 subprocess.run 调一个会刷进度条的外部程序,参数里写了 capture_output=True。小文件正常,遇到 200MB 的包就卡住,top 里两个进程都是 S 状态,CPU 0,一小时后被外层超时 kill。 第一反应是外部程序自己挂了,单独在终端跑同一条命令 40 秒就结束。差别只在 capture_output,也就是 stdout 走了管道。 管道缓冲区默认 64KB,父进程要等子进程结束才去...

Python 3.11 logging 日志重复打两遍:多余的 handler 怎么清

陆零云 34 0
Python 3.11.7 的服务里有一段日志配置,跑单元测试时每条 INFO 都打印两遍,第一遍带时间戳,第二遍是裸格式。生产上用 gunicorn 起了 4 个 worker,一个请求的日志在文件里出现 8 行,同一个 trace_id 被算了两次,报表里的请求量直接翻倍。 第一反应是代码里重复调用了 basicConfig。全局搜了一遍只有一处,还包在 if not logger.handlers 里,理论上不该重复注册。 把 logger.hand...

Python 3.12 正则字符串里的 \d 没加 r 前缀 启动一直告警

陆零云 32 0
Python 从 3.11 升到 3.12,服务启动时刷出一屏 SyntaxWarning: invalid escape sequence,指向一个正则常量所在的行。功能没受影响,但日志被这些告警占满,真正的异常被埋到后面,值班同事翻了半小时才找到。 第一反应是给所有字符串加 r 前缀,改完大半,有一处反而出错:那个串里同时写了换行转义想保留真实换行,加了 r 之后它就变成两个普通字符,正则匹配不到换行,测试用例当场红。 分清楚才敢动手,纯正则的串加 r...

UnicodeDecodeError 文件开头 0xff 解码失败 该按 utf-16 还是 gbk 打开

陆零云 30 0
运营丢过来一个 CSV,脚本第一行就炸:UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte。文件不到 3MB,改扩展名之前是 xls,估计被 Excel 另存过一次。 先试 errors="ignore",能读但结果是空列表,等于把内容全丢了。换 gbk 报 0x81 不是合法起始字节,big5 在第三行断掉,到这里基本能确定它...

lru_cache 不设上限 | 常驻内存涨到 2.4 GB 怎么收回

陆零云 35 0
容器里跑了三天,Pod 被 OOMKilled,限制是 2Gi,重启前 RSS 已经到 2.4G。翻代码发现解析函数挂着 @lru_cache(maxsize=None),key 是一个带 trace_id 的路径参数,一天几十万条,缓存只增不减。 第一反应是内存碎片,加了 gc.collect() 又调了 malloc_trim,RSS 一点没降。用 tracemalloc 打两份快照对比,前三位全是 functools 里的 dict entry,这才...

asyncio.run 报 RuntimeError:线程里已有事件循环怎么改

陆零云 37 0
报错原文是 RuntimeError: asyncio.run() cannot be called from a running event loop,栈底那行落在 uvicorn 的 run_until_complete 上。Python 3.11 加 FastAPI,一个 async 端点里调了旧代码封装的同步函数,那个函数内部又用 asyncio.run 去拉起 httpx.AsyncClient。这段代码上线半年没动过,加了一条新路由才把它带出来...

正则 (a+)+ 遇到 30 个 a 就回溯爆炸 CPU 打满 100% 怎么收

陆零云 32 0
日志清洗脚本跑在 Python 3.11 上,一条字段校验正则是 ^(\w+\s?)+$,用来判断内容是不是纯单词加空格。上线后某台机器 CPU 打到 100%,一条 200 字符的脏数据让单进程卡了 90 秒,整批日志积压到 40 万行。 把那条字符串单独拎出来在本地跑,确实卡死。嵌套量词遇到不匹配的尾部会指数级回溯,200 个字符足够让组合数爆炸,耗时跟数据总条数无关,只跟那一条的尾巴长什么样有关。 试过给 re 加超时,标准库没有这个参数,只有第三方...

遍历字典时 pop 报 RuntimeError | 改 items 快照还是加锁

陆零云 26 0
线上统计脚本跑在 Python 3.11.6 上,维护一个 120 万 key 的字典做调用计数,遍历时顺手把过期项 pop 掉,跑到第 7 分钟抛 RuntimeError: dictionary changed size during iteration,脚本直接退出,当小时的统计缺了一段。 改成 for k in list(d.keys()) 确实不报错了,内存立刻涨了 40MB,而且这层拷贝在 120 万 key 上每次遍历要 80 毫秒,脚本原本...