requests 设了 timeout 还是卡 300 秒:DNS 解析和连接池谁在拖

陆零云 31 0
Python 3.11 加 requests 2.31.0,对接一个查询接口,timeout=(3.05, 27) 写在封装函数里。周六告警说脚本跑了 300 秒才抛 ConnectionError,日志里两行时间戳差了整整五分钟,中间没有任何重试记录。 第一反应是 DNS。用 faulthandler.dump_traceback_later(60, exit=True) 挂上去复现,栈停在 socket.getaddrinfo 的只有一次,其余几次都停...

递归一万层报 StackOverflowError 改迭代要注意什么

陆零云 29 0
目录树导出脚本递归遍历,测试数据 1.2 万层,Python 3.11 直接抛 RecursionError: maximum recursion depth exceeded,默认上限 1000。第一反应是 sys.setrecursionlimit(20000),结果进程收到 SIGSEGV,core dumped,比异常还难看。 原因是 Python 的调用栈和 C 栈绑在一起。解释器层数放开了,C 层每个 eval 帧还在吃栈,8MB 的线程栈撑不...

同一台服务器 numpy 1.24 和 2.0 冲突 venv 和 lock 怎么隔离

陆零云 30 0
一台应用服务器上跑两个 Python 项目。A 是老报表,pandas 1.3.5 配 numpy 1.24.4;B 是模型服务,torch 2.3 要求 numpy 2.0 以上。运维图省事装进系统 Python 3.11,先装 B 再装 A,A 启动直接报 A module that was compiled using NumPy 1.x cannot be run in NumPy 2.0.0。 反过来装也不行。numpy 降到 1.24.4 之后...

cmd 里 Python 输出中文成问号 936 换 65001 仍失败怎么设

陆零云 41 0
调度脚本在 Windows Server 2019 上跑,Python 3.11 往日志里写中文,打开日志全是问号。同样的代码在本机 cmd 里正常,所以一开始怀疑字体,查了半天没结果。 查编码:cmd 里 chcp 显示 437。这台机器装的是英文版系统,默认代码页不是 936,中文转成当前代码页时找不到映射,直接变成问号。字体只影响显示,不影响写进文件的内容,这个方向一开始就错了。 试过在 bat 里加 chcp 936,控制台正常了,重定向到文件还是...

Python 里 0.1 加 0.7 判等失败 浮点误差该怎么比较

陆零云 35 0
结算脚本里有一句 if total == 0.8,线上偶发不走折扣分支。把值打出来是 0.7999999999999999。Python 3.11,0.1 + 0.7 的结果就是这个数,不是 0.8。 原因是二进制浮点。0.1 和 0.7 在 IEEE 754 双精度里都存不下,各自带一点误差,相加以后误差没有抵消,反而落在 0.8 下面一格。repr 显示的是最短可回读表示,print 有时又四舍五入成 0.8,看日志很容易误判,排查时一律用 repr。...

Python 3.11 两个进程写同一日志行错乱 加锁还是临时文件怎么选

陆零云 35 0
上周三日志平台报警,说 nginx 访问日志里有 0.7% 的行解析失败。原文件是两个采集进程同时写的,每个进程按批写入 200 到 300 字节的行,跑几分钟就出现半行连半行,像 2026-11-09T10:12:33 GET /api/v1/order 后面直接接了另一条的时间戳。 第一反应是 open(path, 'a') 不是原子的吗。append 模式确实让每次 write 落在文件末尾,但 Python 默认缓冲 8KB,几次 write 会攒...

Python 3.11 定时脚本日期算错一天 时区和 locale 怎么统一

陆零云 47 0
每天 8 点跑的对账脚本,生成的报表日期总是前一天。脚本里写的是 datetime.date.today(),crontab 是 0 8 * * *,一开始我怀疑 crontab 没按时触发。 登上去 date 一看,输出是 Sat Nov 9 00:05:12 UTC 2026,timedatectl 显示 Time zone: UTC (UTC, +0000)。这台机器在国外机房,装机时没设时区。0 8 * * * 触发的是 UTC 8 点,等于北京时...

Python 3.11 读文件首行多出乱码 UTF-8 BOM 怎么清掉

陆零云 34 0
运营给了一个从 Excel 导出的 CSV,脚本读进来第一件事就报 KeyError: '\ufeffid'。字典的键看着是 id,打印 repr 是 '\ufeffid',前面多了个不可见字符。 用二进制看一眼就清楚:open('a.csv','rb').read(3) 返回 b'\xef\xbb\xbf',这是 UTF-8 的 BOM。Windows 上 Excel 另存为「CSV UTF-8」默认带,记事本存 UTF-8 也带。Python 按 ut...

Python 3.11 正则 .* 把整段吃掉了 非贪婪和锚点怎么写

陆零云 30 0
抓一个列表页,200 个商品卡片,写完 re.findall(r'.*', html) 只出来 1 条,内容是整页。.* 默认贪婪,从第一个 div 一路吃到最后一个闭合标签。 加个问号变 .*?,出来 200 条。可其中 12 条是空的,因为卡片描述里有换行,. 默认不匹配 \n,非贪婪在换行前就停住了,后面的半个 div 根本配不上。加 re.S 让点号也吃换行,数量回到 200,但嵌套的 div 又被截断,正则数不清层级,它只会找最近的匹配位置。 三...

Python 3.11 多线程比单线程慢 2 倍 是 GIL 还是场景问题

陆零云 29 0
一个清洗日志的脚本,单线程跑 3.4 秒,我把它改成 ThreadPoolExecutor(max_workers=4),同样的输入跑了 5.8 秒。机器 8 核,CPU 使用率只有 130%,核没吃满,时间花在别处。 cProfile 里线程切换的调用占了大量采样,sys.getswitchinterval() 是 0.005,也就是每 5 ms 强制切一次。Python 3.11.6 的解释器锁还是全局的,同一时刻只有一个线程在执行字节码。纯计算任务上...