百度蜘蛛抓取频次一周掉 70% 服务器 429 和 5xx 怎么排查

陆零云 38 0
现象 站点没做任何改版,搜索资源平台里的抓取频次一周内从每天 6 万次掉到 1.8 万次,降幅接近 70%。日志里同时出现大量 429 和 503,蜘蛛来的 IP 段越来越少。奇怪的是线上用户访问一切正常,服务器 CPU 和带宽都只有三成负载。 原因 抓取频次下降几乎都是服务器主动回绝的结果。安全软件或 WAF 把百度 IP 段当成爬虫拦截,返回 429 或 403;Nginx 的 limit_req 限速阈值设得太低,蜘蛛一批量抓取就被挡;PHP-FPM...

百度蜘蛛抓取频控提示 429 Rate Limit 怎么改 robots.txt 和限速规则才不影响正常收录

陆零云 41 0
现象:百度抓取诊断里全是 429,收录掉了 60% 上周看百度资源平台抓取诊断,突然出现一堆 429 Rate Limit Exceeded,之前每天抓几万个页面,这周降到 5000 都不到。查服务器日志,百度蜘蛛的 UA 被自己写的 nginx 限流规则挡了,robots.txt 里又加了个 Crawl-delay,双重夹击下收录直接腰斩。 第一步:去掉 robots.txt 里的 Crawl-delay 很多站长以为 Crawl-delay 是限百度...