正文相似度 92% 的 460 组 模板段落重复怎么算

用 simhash 把站内 2,400 篇跑了一遍,460 组两两相似度超过 90%。抽十组看,正文内容其实不同,重复的是每篇都有的三段:公司简介 180 字、服务承诺 120 字、参数说明表 100 字。

这三段加起来 400 字,占不少文章正文的三分之一。第一反应是直接删。删完 300 篇,页面字数掉到 500 以下,GSC 里开始出现内容单薄的提示,等于换了个问题。

试过把模板段落塞进 details 折叠、改成图片、用 JS 注入,相似度都没降。指纹算的仍然是 HTML 里的文本,折叠和注入的内容照样在。

可行的做法是压到最短再补独家内容:公司简介缩成一句 60 字放页脚,服务承诺改成指向服务页的内链,参数说明只留这一篇真正用到的三行。腾出来的位置补实测数据,比如同一台 2 核 4G 机器上 opcache 开启前后的 TTFB 对比表。

460 组里有 120 组是同题不同年写的,内容确实重叠,直接 301 合并到最新那篇,旧的保留 410 两周。剩下 340 组补数据,每篇至少一个只有这页才有的数字。

复查时相似度中位数从 0.92 降到 0.61,超过 0.85 的组从 460 降到 18。索引没立刻涨,第六周开始内页抓取多了 21%。

模板段落本身不算作弊,全站共用一段产品介绍很正常。问题在它占的比例,以及除了它之外这页还剩什么。

def hit(a, b):
    ga = grams(strip_tpl(a))
    gb = grams(strip_tpl(b))
    return len(ga & gb) / len(ga | gb)
# strip_tpl 先剔除页脚与参数说明块

您可以还会对下面的文章感兴趣: