robots.txt 的 Crawl-delay 10 百度为什么抓得越来越慢

十月的抓取统计出来,Baiduspider 日均 2100 次,七月还是 8000 次。新发的 400 篇文章,收录只有 90 篇。服务器这边一切正常,nginx 平均响应 180 ms,5xx 占比 0.2%。

第一反应是站点变慢或者被限速。查了带宽、CPU、防火墙,没有异常。抓取日志里也没有 429 和 403,蜘蛛来的时候都给了 200。

后来在 robots.txt 里看到一行 Crawl-delay: 10,是三个月前运维加的,说怕蜘蛛压垮机器。删掉这一行,观察一周,抓取量只回到 2400,没有明显改善。

真正的原因在另一个地方。百度搜索资源平台的「抓取频次」里,上限被人从 10 次每秒调成了 2 次每秒,和 robots.txt 是两套独立配置。Crawl-delay 百度本来就不认,改了也白改。

把上限调回 8 次每秒,同时确认 robots.txt 只留 User-agent、Disallow 和 Sitemap 三类指令,其他实验性字段全清掉。sitemap 按栏目拆成 6 个分片,lastmod 用真实更新时间,不再每次发布都全量刷新。

User-agent: *
Disallow: /search/
Disallow: /cart/
Sitemap: https://www.example.com/sitemap_index.xml

# 站点根目录统计蜘蛛请求数
grep -c "Baiduspider" access.log

两周后日均抓取回到 7400,新页面收录从 120 涨到 900。抓取频次曲线和日志里的 UA 计数基本吻合,说明平台配置真的生效,不是统计口径变化。

现在的习惯是每周对数:日志里 Baiduspider 的请求数、平台显示的抓取频次、新增收录量。三个数里有两个不同步,就先怀疑配置被人动过。

您可以还会对下面的文章感兴趣: