服务器日志 8000 条里百度只抓首页 内页不抓怎么排查

现象

从 Nginx 日志里筛出百度蜘蛛的记录,一天 8000 条请求里有 7000 多条打在首页和栏目页,真正抓取文章详情的不到 3%。新发布的文章一周内没有任何蜘蛛访问记录,而首页被抓取的频率高得离谱。把日志按小时排开,首页几乎每几分钟就有一条,内页的记录零星分布在凌晨。

原因

首页上放了几十条指向同一批链接的入口,蜘蛛每一轮都从这里重新爬,抓取预算被首页消耗殆尽。常见诱因有三类:自适应的广告位或 JS 弹窗生成了大量带参数的首页地址;sitemap 未提交或内容为空,蜘蛛找不到内页入口;文章详情页里内链太少,没有形成新的爬取路径。上线不久的站点还会因为信任度低被限制整体配额。

解决步骤

第一步,统计蜘蛛在各路径的分布。按 Path 聚合,确认内页路径有没有被抓过。

grep -i "Baiduspider" access.log | awk '{print $7}' \
  | sed -E 's#/[0-9]+.html#/detail#g' | sort | uniq -c | head

第二步,收敛首页出口。把首页指向同一目标的重复链接合并,去掉带 ?from=、?utm 的跟踪参数,用 nofollow 屏蔽无意义的筛选入口,减少蜘蛛原地打转。

第三步,开辟新入口。提交完整 sitemap,在每篇文章底部放三到五条指向相关文章的内链,栏目页做分页并逐页翻到底,让蜘蛛有持续的爬取路径。

验证

一周后日志里详情页的抓取占比升到三成以上,新发布文章在 24 小时内被访问,抓取总次数没有下降只是分布更均匀。

小结

蜘蛛只抓首页是预算被浪费。先按路径统计分布,再收敛首页的重复入口、补齐 sitemap 和内链,把抓取引到真正有内容的页面上。

您可以还会对下面的文章感兴趣: