陆零云
38
0
现象
站点没做任何改版,搜索资源平台里的抓取频次一周内从每天 6 万次掉到 1.8 万次,降幅接近 70%。日志里同时出现大量 429 和 503,蜘蛛来的 IP 段越来越少。奇怪的是线上用户访问一切正常,服务器 CPU 和带宽都只有三成负载。
原因
抓取频次下降几乎都是服务器主动回绝的结果。安全软件或 WAF 把百度 IP 段当成爬虫拦截,返回 429 或 403;Nginx 的 limit_req 限速阈值设得太低,蜘蛛一批量抓取就被挡;PHP-FPM...
陆零云
41
0
现象:百度抓取诊断里全是 429,收录掉了 60%
上周看百度资源平台抓取诊断,突然出现一堆 429 Rate Limit Exceeded,之前每天抓几万个页面,这周降到 5000 都不到。查服务器日志,百度蜘蛛的 UA 被自己写的 nginx 限流规则挡了,robots.txt 里又加了个 Crawl-delay,双重夹击下收录直接腰斩。
第一步:去掉 robots.txt 里的 Crawl-delay
很多站长以为 Crawl-delay 是限百度...