现象
搜索资源平台里做抓取诊断,结果一直显示 HTTP 403,返回内容是一段拦截提示页。自己用浏览器访问同一个地址完全正常,服务器访问日志里带 Baiduspider 的请求却几乎全是 403,收录量也跟着往下掉。
原因
CDN 或 WAF 的 Bot 管理把百度蜘蛛当成恶意爬虫拦了,也可能是 Nginx 里配了 UA 黑名单,规则里带 spider 关键字,把 Baiduspider 一并命中。还有一种是限流规则按 IP 频次触发,蜘蛛集中抓取时被临时封禁,表现同样是 403。
解决步骤
第一步,确认拦截发生在哪一层。看 Nginx 访问日志里有没有对应请求,如果日志里没有记录,说明请求在 CDN 或 WAF 就被挡了,要先去那一层放行。
grep -i "baiduspider" /var/log/nginx/access.log | tail -20
curl -I -A "Mozilla/5.0 Baiduspider/2.0" https://www.example.com/
第二步,在 CDN 和 WAF 加白名单。把百度官方公布的蜘蛛 IP 段加入 IP 白名单,UA 白名单同时放行 Baiduspider,注意白名单优先级要高于 Bot 管理和频次限流规则,否则依旧被拦。
第三步,Nginx 侧用 map 做精确判断。不要用 if 直接 return,改成 map 匹配 UA 后再决定是否拦截,规则里只针对明确的恶意 UA,保留百度、谷歌等主流蜘蛛,改完 nginx -t 再 reload。
验证
抓取诊断返回 200 并显示正常抓取,日志里 Baiduspider 的请求状态码以 200 和 304 为主,几天后索引量开始回升,服务器带宽没有异常飙升。
小结
403 多半是防护规则误伤,不一定是服务器故障。先看日志定位拦截层,再放行官方 IP 段与 UA,最后收敛 Nginx 规则,收录才能恢复。
