现象:百度抓取诊断里全是 429,收录掉了 60%
上周看百度资源平台抓取诊断,突然出现一堆 429 Rate Limit ExCeeded,之前每天抓几万个页面,这周降到 5000 都不到。查服务器日志,百度蜘蛛的 UA 被自己写的 nginx 限流规则挡了,robots.txt 里又加了个 Crawl-delay,双重夹击下收录直接腰斩。
第一步:去掉 robots.txt 里的 Crawl-delay
很多站长以为 Crawl-delay 是限百度蜘蛛的好办法,实际上百度根本不认这个指令。错误的 Crawl-delay 反而让百度认为你在限流,触发它内部的频控模型。把 robots.txt 里那行 Crawl-delay 直接删掉,让百度按自己的节奏来。
# 错误 - 百度不认 Crawl-delay
User-agent: Baiduspider
Crawl-delay: 10
# 正确 - 只做 Disallow/Allow/Sitemap
User-agent: Baiduspider
Allow: /
Sitemap: https://example.com/sitemap.xml
第二步:nginx 限流规则放行百度蜘蛛 UA
最常见的误伤是 nginx 的 limit_req_zone 把百度蜘蛛和普通用户限在同一个桶里。百度蜘蛛每秒能抓几百次,要是 limit_req_zone 设的是 10r/s,蜘蛛一上来就 429。单独给百度蜘蛛开个宽松的限流桶:
limit_req_zone $binary_remote_addr zone=api:10m rate=10r/s;
limit_req_zone $http_user_agent zone=baidu_spider:10m rate=200r/s;
server {
location / {
if ($http_user_agent ~* Baiduspider) {
limit_req zone=baidu_spider burst=500 nodelay;
}
limit_req zone=api burst=20 nodelay;
}
}
第三步:提交后等百度重新抓取
改完后到百度资源平台提交 sitemap,用抓取诊断工具试几个之前 429 的页面,看是不是恢复 200 了。百度内部频控模型有缓存,一般 24 小时内生效,最长不超过 72 小时。期间别再加任何限流规则干扰。
总结:百度蜘蛛 429 收录掉一半,先查 robots.txt 有没有多写 Crawl-delay,再查 nginx 限流规则是不是把蜘蛛和用户混在一起限了。分个宽松的限流桶给 Baiduspider UA,200r/s 足够,改完 24-72 小时收录就能回来。
