百度蜘蛛抓取报 429 收录掉了一半,怎么查是不是站内限流误伤 陆零云 2026-11-08 14:42:06 34 0 429 是服务器回给蜘蛛的,不是百度主动封 百度搜索资源平台的抓取异常里出现大量 429,含义是站点对 Baiduspider 的请求做了频率限制。常见来源三个:Nginx 的 limit_req 按 IP 限速,而百度蜘蛛出口 IP 集中,很容易撞阈值;云 WAF 或 CDN 的 CC 防护把蜘蛛当成攻击流量;应用层自己写的防刷中间件。先分清是哪一层,再决定放行谁。 第一步:从访问日志里确认 429 的占比 grep -i "baiduspider"...