现象:抓取诊断里 robots.txt 直接 403
在百度搜索资源平台做抓取诊断,提示 robots.txt 返回状态码 403,站点收录量随之下降。用浏览器打开同一个地址却能看到内容,甚至返回 200。
原因:人和蜘蛛看到的不一样
- UA 黑名单。防护插件或 Nginx 把
Baiduspider当成采集器拦掉,浏览器 UA 则放行。 - WAF 或 CDN 规则。云 WAF 默认开启爬虫防护,高频抓取直接返回 403,还可能带人机校验。
- 文件权限或路径不对。robots.txt 落在伪静态规则之后,被重写到不存在的路由,返回的其实是 403 或 404。
- 全站鉴权。测试环境遗留的 Basic Auth 会让蜘蛛拿到 401,部分 CDN 会把它转成 403。
解决步骤
第一步,用蜘蛛身份复现,这一步能直接区分是拦截还是配置问题:
curl -I -A "Baiduspider" https://你的域名/robots.txt
第二步,把 robots.txt 精确匹配到静态文件,避免被伪静态吞掉,且强制返回纯文本:
location = /robots.txt {
default_type text/plain;
add_header Cache-Control "max-age=3600";
}
第三步,检查拦截层。依次关掉 Nginx 的 UA 拦截、CDN 的爬虫防护和 WAF 自定义规则,每改一层用上面的 curl 复测一次。蜘蛛 IP 段可以在搜索资源平台查到,建议直接加白名单而不是放开全部。
第四步,回平台复测。robots.txt 恢复 200 后重新抓取诊断,确认返回内容就是文件本身,没有混入 HTML 或跳转脚本。
顺带检查两处:一是 403 和 404 的区别,403 表示服务器拒绝,通常是权限或拦截;404 表示文件不存在,多半是伪静态把它吞了,两者的修法完全不同。二是 robots.txt 里的 Disallow 是否误伤,把 / 整站禁掉的做法会让站点彻底无法收录,改完顺手用 curl -s 把内容打出来核对,再检查 Sitemap 一行指向的地址能不能正常访问。
小结
先用 Baiduspider 的 UA 复现,能立刻分清是"被拦"还是"配置错"。robots.txt 要能被精确命中并返回 200 纯文本,这是收录的前提。
