抓取 3000 次里 62.5% 落在 tag 页:预算怎么收回内页

拉了一天百度蜘蛛的日志,总抓取 3000 次,其中 62.5% 落在 tag 页,内页只有 9%,首页和列表页占剩下的。

tag 页是标签组合自动生成的,一个标签一个 URL,还有标签加页码、标签加排序参数,站点一共 400 多篇内容,tag 页生出来 2.6 万个。蜘蛛进来就被这些低价值页吸住了。

第一反应是 robots 屏蔽 /tag/。试了两天,抓取量掉到 800 次,内页没涨,因为已经收录的 tag 页被屏蔽后变成死链,蜘蛛反复回来确认,预算没省下来反而更碎。

改法分三步。tag 页保留可访问,但加 noindex,follow,让蜘蛛把权重顺着链接传下去;tag 列表页做分页上限,只留前 5 页;sitemap 里彻底不放 tag 页,只放文章和栏目。

awk '{print $7}' access.log | grep -c '^/tag/'
awk '$9==200 {print $7}' access.log | wc -l
grep -c 'Baiduspider' access.log

noindex 生效要等重新抓取,前一周看不出变化。第二周开始 tag 页抓取比例从 62.5% 降到 31%,第三周 11%,内页从 9% 涨到 46%。

中间还发现一个问题,tag 页的链接是随机排序的,每次生成顺序不一样,蜘蛛每次来都认为是新页面。改成固定按发布时间倒序,同一批 URL 稳定下来,抓取效率又提了一截。

栏目页也顺手加了一版,之前 12 个栏目全在主导航,现在只留 6 个高频的,其余收进二级页。链接深度从 4 层压到 3 层,内页被抓到的概率明显高了。

您可以还会对下面的文章感兴趣: