抓一个列表页,200 个商品卡片,写完 re.findall(r'
加个问号变 .*?,出来 200 条。可其中 12 条是空的,因为卡片描述里有换行,. 默认不匹配 \n,非贪婪在换行前就停住了,后面的半个 div 根本配不上。加 re.S 让点号也吃换行,数量回到 200,但嵌套的 div 又被截断,正则数不清层级,它只会找最近的匹配位置。
三种写法我放在一起跑过,同一份 1.8 MB 的 HTML,结果差得很明显:
import re
h = open('list.html', encoding='utf-8').read()
# 1 贪婪 只出 1 条 内容是整页
re.findall(r'.*', h, re.S)
# 2 非贪婪 跨行要靠 re.S 嵌套会截断
re.findall(r'.*?', h, re.S)
# 3 限定字符集 不跨标签 最快
re.findall(r'([^<]*)', h)
第三条只适用于 div 里没有子元素的场景。我这份页面刚好是纯文本加一个 img,所以能用。有嵌套就老实用解析器,lxml 的 etree.HTML 加 xpath 三行写完,比反复调正则省事。
锚点也踩过。^ 和 $ 默认匹配整串的开头和结尾,想按行匹配得加 re.M。我写 ^\d{4}-\d{2} 想抓日期行,忘了 re.M,一条都没出来。\b 更隐蔽,它按 \w 判断边界,中文不算 \w,所以 \b关键词\b 在中文段落里永远不成立,最后换成 (?
回溯也值得提一句。有个规则写成 (a+)+b,在一条 40 个 a 的畸形数据上卡了 4.2 秒,把整个任务拖死。改成 a+b 之后毫秒级返回。现在写正则尽量不用嵌套量词,能用 [^x] 就不写 .*?。
性能上也有差距。限定字符集那条在 1.8 MB 的页面上 12 ms 跑完,非贪婪 46 ms,贪婪最坏情况和字符串长度成正比,我这边测到 120 ms。单页看着不多,爬 2000 个页面就是几分钟的差别。
