正文内链 1280 条挂 nofollow 收录入口全断怎么补回来

自查内链时统计了一下,正文里 1,280 条站内链接的 rel 属性带 nofollow。来源是编辑器插件的默认设置,作者从后台插入站内链接时自动加,三年下来成了习惯。

影响不是「权重不传递」这么抽象。日志里被链页面平均每周抓 1.2 次,没有入链的页面 0.3 次,而全站 4,700 个详情页里有 1,900 个只靠正文链接进入。这 1,280 条一断,其中 640 个页面一次抓取都没有。

第一版直接批量删,正则匹配 a 标签里的 rel 属性,站内域名删掉,站外保留。跑完发现 300 条指向登录页和购物车,这类页面本来不该被抓,删了之后日志里多出 4,000 次无效抓取。

改成白名单加黑名单。站内文章、栏目、tag 页放开;/user/、/Cart/、/login/ 保留 nofollow。剩下的按页面类型分批,先放开文章页的 780 条,观察两周抓取分布,再放开栏目页的 500 条。

顺带把锚文本一起规整了。原来 60% 的锚文本是「点击查看」,放开 nofollow 等于把一堆无意义文本喂进去。改成目标页标题前 12 个字,重复率降到 22%。

6 周后,那 640 个孤岛页里有 520 个被至少抓取 3 次,收录从 180 涨到 610。抓取总量没变,说明预算只是重新分配,不是凭空多出来的。

复查时发现还有 90 条漏网,写在专题页的侧栏模块里,那段 HTML 由组件拼装,正则扫不到。这部分按组件模板改,改完用爬虫重抓 200 页核对,两边口径一致才算完。


UPDATE posts SET content = REGEXP_REPLACE(
  content,
  '(<a href="https://idc\.00645\.com/[^"]*")'
  '\s+rel="nofollow"',
  '\1'
)
WHERE id > 0;

您可以还会对下面的文章感兴趣: