百度抓取诊断提示 robots.txt 返回 403 怎么解决

陆零云 66 0
现象:抓取诊断里 robots.txt 直接 403 在百度搜索资源平台做抓取诊断,提示 robots.txt 返回状态码 403,站点收录量随之下降。用浏览器打开同一个地址却能看到内容,甚至返回 200。 原因:人和蜘蛛看到的不一样 UA 黑名单。防护插件或 Nginx 把 Baiduspider 当成采集器拦掉,浏览器 UA 则放行。 WAF 或 CDN 规则。云 WAF 默认开启爬虫防护,高频抓取直接返回 403,还可能带人机校验。 文件权限或路...