站被判采集 相似度 81.4%:改标题和段落顺序为什么没用

百度搜索资源平台推来一条低质采集提示,站内 8,000 篇文章,自查 simhash 后 2,300 篇与另一篇的汉明距离小于 3。最严重的一组是 14 篇「法兰选型指南」,正文只在段落顺序和几个连接词上有差别,相似度 81.4%。

先做的是同义词替换加段落调序,每篇改 15% 的词,人工读起来确实不一样。重新算 simhash,距离从 3 拉到 3,几乎没动。4-gram 指纹抓的是字符片段,换词改序不改变片段集合的主体。

真正降下来靠删和并。2,300 篇按主题聚成 27 组,合并成 900 篇,每组留一篇信息最全的,其余 301 到主篇。留下的每篇补三样东西:自己的实测数据表、当周报价、拍摄时间,转载来源段落整段删除。

有 400 篇没有独家内容可补,直接下线。下线前导出 URL 和流量,确认这 400 篇 90 天里只带来 1,100 次点击,占比 2.3%,可以接受。

下线不是删库。URL 保留 410 两周,再 301 到同组主篇,跳转链只留一跳。有人建议直接 404,实测 410 被剔除快 3 到 5 天,差别不大,选哪个看运维习惯。

阈值定在汉明距离 3 是试出来的。距离 5 时把法兰和法兰盖判成同组,误合并 60 篇;距离 2 时漏掉 300 多篇只换过小标题的。3 对应 4-gram 重合约 95%,跟人工判断最接近。

60 天后复查,同组内相似度中位数从 0.81 降到 0.42,抓取频次涨了 37%,索引从 9,600 涨到 14,200。排名没有立刻回来,长尾词在第五周才开始动。

采集判定看的不是词面,是同一站点里有多少页在讲同一件事而没有任何一页多说一点。段落顺序、同义词、加粗位置都属于表面功夫。

import re
def grams(t, n=4):
    t = re.sub(r'\W+', '', t)
    return {t[i:i + n] for i in range(len(t) - n + 1)}

def jaccard(a, b):
    ga, gb = grams(a), grams(b)
    return len(ga & gb) / len(ga | gb)

您可以还会对下面的文章感兴趣:

暂无相关文章