百度蜘蛛抓取报 429 收录掉了一半,怎么查是不是站内限流误伤

429 是服务器回给蜘蛛的,不是百度主动封

百度搜索资源平台的抓取异常里出现大量 429,含义是站点对 Baiduspider 的请求做了频率限制。常见来源三个:Nginx 的 limit_req 按 IP 限速,而百度蜘蛛出口 IP 集中,很容易撞阈值;云 WAF 或 CDN 的 CC 防护把蜘蛛当成攻击流量;应用层自己写的防刷中间件。先分清是哪一层,再决定放行谁。

第一步:从访问日志里确认 429 的占比

grep -i "baiduspider" /www/wwwlogs/access.log | awk '{print $9}' | sort | uniq -c | sort -rn
grep -i "baiduspider" /www/wwwlogs/access.log | grep " 429 " | tail -5

第一条按状态码汇总蜘蛛请求,看 200 与 429 各占多少;第二条抽样看被拒的具体 URL,判断是整站被限,还是集中在搜索页、标签页这类动态地址。如果 429 只出现在带参数的列表页,问题多半在应用层的频率控制,不在 Nginx。

第二步:Nginx 限流里给蜘蛛单独开口子

map $http_user_agent $limit_key {
    default $binary_remote_addr;
    ~*Baiduspider "";
}
limit_req_zone $limit_key zone=req_zone:10m rate=5r/s;

把蜘蛛的 key 映射成空值后,limit_req 就不再对它计数,其他来源照旧限速。改完 nginx -t 通过再 reload,观察一天日志里 429 是否归零。走 CDN 的站点还要在控制台把 Baiduspider 加进白名单,否则请求到不了源站就已经被拦掉。

第三步:放行之后把收录拉回来

限流解除只是恢复抓取,收录要另外推。在搜索资源平台重新提交 sitemap,用普通收录接口把这次被 429 的 URL 再推一遍,控制在每天配额内;同时检查这些页面有没有 canonical 指向别的地址、robots 是否误屏蔽了目录。抓取频次回升通常要几天,别急着反复改标题。

小结

排查顺序固定:日志统计确认 429 占比,看是全局还是局部;Nginx 的 limit_req 用 map 放行 Baiduspider;CDN 与 WAF 白名单同步放行;最后重新推送 sitemap 和 URL 等抓取恢复。把限流规则和蜘蛛放行写在一起维护,下次换机房、换 CDN 不容易再踩同样的坑。

您可以还会对下面的文章感兴趣: