百度蜘蛛抓取频控提示 429 Rate Limit 怎么改 robots.txt 和限速规则才不影响正常收录

现象:百度抓取诊断里全是 429,收录掉了 60%

上周看百度资源平台抓取诊断,突然出现一堆 429 Rate Limit ExCeeded,之前每天抓几万个页面,这周降到 5000 都不到。查服务器日志,百度蜘蛛的 UA 被自己写的 nginx 限流规则挡了,robots.txt 里又加了个 Crawl-delay,双重夹击下收录直接腰斩。

第一步:去掉 robots.txt 里的 Crawl-delay

很多站长以为 Crawl-delay 是限百度蜘蛛的好办法,实际上百度根本不认这个指令。错误的 Crawl-delay 反而让百度认为你在限流,触发它内部的频控模型。把 robots.txt 里那行 Crawl-delay 直接删掉,让百度按自己的节奏来。

# 错误 - 百度不认 Crawl-delay
User-agent: Baiduspider
Crawl-delay: 10

# 正确 - 只做 Disallow/Allow/Sitemap
User-agent: Baiduspider
Allow: /
Sitemap: https://example.com/sitemap.xml

第二步:nginx 限流规则放行百度蜘蛛 UA

最常见的误伤是 nginx 的 limit_req_zone 把百度蜘蛛和普通用户限在同一个桶里。百度蜘蛛每秒能抓几百次,要是 limit_req_zone 设的是 10r/s,蜘蛛一上来就 429。单独给百度蜘蛛开个宽松的限流桶:

limit_req_zone $binary_remote_addr zone=api:10m rate=10r/s;
limit_req_zone $http_user_agent zone=baidu_spider:10m rate=200r/s;

server {
    location / {
        if ($http_user_agent ~* Baiduspider) {
            limit_req zone=baidu_spider burst=500 nodelay;
        }
        limit_req zone=api burst=20 nodelay;
    }
}

第三步:提交后等百度重新抓取

改完后到百度资源平台提交 sitemap,用抓取诊断工具试几个之前 429 的页面,看是不是恢复 200 了。百度内部频控模型有缓存,一般 24 小时内生效,最长不超过 72 小时。期间别再加任何限流规则干扰。

总结:百度蜘蛛 429 收录掉一半,先查 robots.txt 有没有多写 Crawl-delay,再查 nginx 限流规则是不是把蜘蛛和用户混在一起限了。分个宽松的限流桶给 Baiduspider UA,200r/s 足够,改完 24-72 小时收录就能回来。

您可以还会对下面的文章感兴趣: