站被判采集 相似度 81.4%:改标题和段落顺序为什么没用

陆零云 30 0
百度搜索资源平台推来一条低质采集提示,站内 8,000 篇文章,自查 simhash 后 2,300 篇与另一篇的汉明距离小于 3。最严重的一组是 14 篇「法兰选型指南」,正文只在段落顺序和几个连接词上有差别,相似度 81.4%。 先做的是同义词替换加段落调序,每篇改 15% 的词,人工读起来确实不一样。重新算 simhash,距离从 3 拉到 3,几乎没动。4-gram 指纹抓的是字符片段,换词改序不改变片段集合的主体。 真正降下来靠删和并。2,300...