日志清洗脚本跑在 Python 3.11 上,一条字段校验正则是 ^(\w+\s?)+$,用来判断内容是不是纯单词加空格。上线后某台机器 CPU 打到 100%,一条 200 字符的脏数据让单进程卡了 90 秒,整批日志积压到 40 万行。
把那条字符串单独拎出来在本地跑,确实卡死。嵌套量词遇到不匹配的尾部会指数级回溯,200 个字符足够让组合数爆炸,耗时跟数据总条数无关,只跟那一条的尾巴长什么样有关。
试过给 re 加超时,标准库没有这个参数,只有第三方 regex 模块支持 timeout。也试过先把字段截断到 100 字符再匹配,误杀了一批正常的长字段,业务方当天就找过来。
最后重写成 ^\w+(?:\s\w+)*$,把嵌套量词拆成线性结构,语义等价但回溯路径只剩一条。顺手把贪婪改成显式分组,用 re.DEBUG 数了一遍分支,确认没有隐藏的重复组。
这类正则平时测试都用短字符串,10 个字符以内根本看不出差别,压测要专门准备 100 到 500 字符的不匹配样本。regex 模块的 timeout 按秒计,粒度太粗,触发后也不知道卡在哪一段。线上复现时用 py-spy dump 看到线程停在 sre_match,才敢确认不是 IO 阻塞。入口处再加一道长度过滤,超过 512 字符的字段走另一条宽松规则,成本比调超时低。
确认口径:20 万行日志全量跑 12 秒,CPU 峰值 40%;把那 200 字符的脏数据塞进去,耗时 0.3 毫秒且正确判为不匹配;再补一条 5000 字符的极端输入,同样秒回。
SAFE = re.compile(r'^\w+(?:\s\w+)*$')
if SAFE.fullmatch(field):
cleaned.append(field) 