百度蜘蛛抓取频次一周掉 70% 服务器 429 和 5xx 怎么排查

陆零云 38 0
现象 站点没做任何改版,搜索资源平台里的抓取频次一周内从每天 6 万次掉到 1.8 万次,降幅接近 70%。日志里同时出现大量 429 和 503,蜘蛛来的 IP 段越来越少。奇怪的是线上用户访问一切正常,服务器 CPU 和带宽都只有三成负载。 原因 抓取频次下降几乎都是服务器主动回绝的结果。安全软件或 WAF 把百度 IP 段当成爬虫拦截,返回 429 或 403;Nginx 的 limit_req 限速阈值设得太低,蜘蛛一批量抓取就被挡;PHP-FPM...