robots.txt 全站抓取变 0:多写的那行 Disallow 怎么找

10 月 27 日切换 CDN,第二天百度收录从 4200 掉到 380,GSC 的抓取统计里每天的抓取请求从 2.3 万次掉到 900 次。服务器没动过,唯一的变量是站点根目录多了一份新的 robots.txt。

打开文件,第二行是 Disallow: /。运维按上一个项目的模板粘过来的,本意是屏蔽 /admin/ 和 /search/,多出来的那一行把整站一起关了。文件只有六行,肉眼扫过去特别容易滑掉。

确认的方法不复杂。拿百度蜘蛛的 UA 直接拉一遍,把行号打出来,再对照 GSC 的 robots.txt 报告和网址检查。报告里会明写「已被 robots.txt 屏蔽」,这句话比任何猜测都直接。

curl -s -A "Baiduspider" https://example.com/robots.txt   | cat -n

Z-BlogPHP 这边还要看文件位置。主题目录里可能也有一份 robots.txt,伪静态规则如果先命中主题目录,改根目录那份不生效。我们踩过一次,改完刷新还是旧的,最后靠 Nginx 的 access.log 才确认请求落在哪个路径。

改回来之后别急着点验证。robots.txt 屏蔽期间爬虫根本不会发起抓取,验证会一直挂起。先等抓取统计里出现新的请求,再提交验证,成功率差很多。

时间线记一下:10 月 29 日改回,11 月 1 日抓取请求回到 1.1 万次,11 月 7 日收录 2600 条。掉下去花了两天,回来用了十天。

中间点过「请求重新抓取」,也重新提交了 sitemap,都没用。真正决定状态的只有 robots.txt 本身,其他操作都是在等它生效。

现在上线流程里加了一步:发布前用百度和 Google 两个 UA 各拉一次 robots.txt,算 md5 和上一版比较。有变化就人工看一遍,不看内容只比 hash 也能拦住这类事故。

您可以还会对下面的文章感兴趣: