百度抓取诊断提示 robots.txt 返回 403 怎么解决

现象:抓取诊断里 robots.txt 直接 403

在百度搜索资源平台做抓取诊断,提示 robots.txt 返回状态码 403,站点收录量随之下降。用浏览器打开同一个地址却能看到内容,甚至返回 200。

原因:人和蜘蛛看到的不一样

  • UA 黑名单。防护插件或 Nginx 把 Baiduspider 当成采集器拦掉,浏览器 UA 则放行。
  • WAF 或 CDN 规则。云 WAF 默认开启爬虫防护,高频抓取直接返回 403,还可能带人机校验。
  • 文件权限或路径不对。robots.txt 落在伪静态规则之后,被重写到不存在的路由,返回的其实是 403 或 404。
  • 全站鉴权。测试环境遗留的 Basic Auth 会让蜘蛛拿到 401,部分 CDN 会把它转成 403。

解决步骤

第一步,用蜘蛛身份复现,这一步能直接区分是拦截还是配置问题:

curl -I -A "Baiduspider" https://你的域名/robots.txt

第二步,把 robots.txt 精确匹配到静态文件,避免被伪静态吞掉,且强制返回纯文本:

location = /robots.txt {
  default_type text/plain;
  add_header Cache-Control "max-age=3600";
}

第三步,检查拦截层。依次关掉 Nginx 的 UA 拦截、CDN 的爬虫防护和 WAF 自定义规则,每改一层用上面的 curl 复测一次。蜘蛛 IP 段可以在搜索资源平台查到,建议直接加白名单而不是放开全部。

第四步,回平台复测。robots.txt 恢复 200 后重新抓取诊断,确认返回内容就是文件本身,没有混入 HTML 或跳转脚本。

顺带检查两处:一是 403 和 404 的区别,403 表示服务器拒绝,通常是权限或拦截;404 表示文件不存在,多半是伪静态把它吞了,两者的修法完全不同。二是 robots.txt 里的 Disallow 是否误伤,把 / 整站禁掉的做法会让站点彻底无法收录,改完顺手用 curl -s 把内容打出来核对,再检查 Sitemap 一行指向的地址能不能正常访问。

小结

先用 Baiduspider 的 UA 复现,能立刻分清是"被拦"还是"配置错"。robots.txt 要能被精确命中并返回 200 纯文本,这是收录的前提。

您可以还会对下面的文章感兴趣: