用 simhash 把站内 2,400 篇跑了一遍,460 组两两相似度超过 90%。抽十组看,正文内容其实不同,重复的是每篇都有的三段:公司简介 180 字、服务承诺 120 字、参数说明表 100 字。
这三段加起来 400 字,占不少文章正文的三分之一。第一反应是直接删。删完 300 篇,页面字数掉到 500 以下,GSC 里开始出现内容单薄的提示,等于换了个问题。
试过把模板段落塞进 details 折叠、改成图片、用 JS 注入,相似度都没降。指纹算的仍然是 HTML 里的文本,折叠和注入的内容照样在。
可行的做法是压到最短再补独家内容:公司简介缩成一句 60 字放页脚,服务承诺改成指向服务页的内链,参数说明只留这一篇真正用到的三行。腾出来的位置补实测数据,比如同一台 2 核 4G 机器上 opcache 开启前后的 TTFB 对比表。
460 组里有 120 组是同题不同年写的,内容确实重叠,直接 301 合并到最新那篇,旧的保留 410 两周。剩下 340 组补数据,每篇至少一个只有这页才有的数字。
复查时相似度中位数从 0.92 降到 0.61,超过 0.85 的组从 460 降到 18。索引没立刻涨,第六周开始内页抓取多了 21%。
模板段落本身不算作弊,全站共用一段产品介绍很正常。问题在它占的比例,以及除了它之外这页还剩什么。
def hit(a, b):
ga = grams(strip_tpl(a))
gb = grams(strip_tpl(b))
return len(ga & gb) / len(ga | gb)
# strip_tpl 先剔除页脚与参数说明块 