robots.txt 全站抓取变 0:多写的那行 Disallow 怎么找

陆零云 36 0
10 月 27 日切换 CDN,第二天百度收录从 4200 掉到 380,GSC 的抓取统计里每天的抓取请求从 2.3 万次掉到 900 次。服务器没动过,唯一的变量是站点根目录多了一份新的 robots.txt。 打开文件,第二行是 Disallow: /。运维按上一个项目的模板粘过来的,本意是屏蔽 /admin/ 和 /search/,多出来的那一行把整站一起关了。文件只有六行,肉眼扫过去特别容易滑掉。 确认的方法不复杂。拿百度蜘蛛的 UA 直接拉一遍...