现象
站点没做任何改版,搜索资源平台里的抓取频次一周内从每天 6 万次掉到 1.8 万次,降幅接近 70%。日志里同时出现大量 429 和 503,蜘蛛来的 IP 段越来越少。奇怪的是线上用户访问一切正常,服务器 CPU 和带宽都只有三成负载。
原因
抓取频次下降几乎都是服务器主动回绝的结果。安全软件或 WAF 把百度 IP 段当成爬虫拦截,返回 429 或 403;Nginx 的 limit_req 限速阈值设得太低,蜘蛛一批量抓取就被挡;PHP-FPM 偶尔打满导致部分请求 503,蜘蛛连续遇到 5xx 就会自动降低抓取配额。CDN 侧的频率控制同样会把蜘蛛误伤,且日志里看不出来。
解决步骤
第一步,按状态码聚合日志。看清到底是 429、403 还是 5xx 占多数,再决定改哪一层。
awk '{print $9}' access.log | sort | uniq -c | sort -nr | head
awk '$9==429 {print $1}' access.log | sort | uniq -c | sort -nr | head
第二步,给蜘蛛单独放行。在 WAF 与限速规则里把百度 IP 段加入白名单,或者对已知蜘蛛 UA 跳过 limit_req,同时确认 CDN 的防刷策略没有把它一起限制。
map $http_user_agent $limit_key {
default $binary_remote_addr;
~*(Baiduspider|bingbot) "";
}
limit_req_zone $limit_key zone=req:10m rate=30r/s;
第三步,压住 5xx 源头。把 PHP-FPM 的 pm.max_children 按内存除以单进程占用估算调高,给数据库慢查询加索引,避免高峰期连接打满。
验证
调整后日志中的 429 与 5xx 归零,抓取频次在五到七天内回到原有水平,蜘蛛对栏目和内页的抓取比例恢复正常。
小结
抓取频次骤降先怀疑自己挡了蜘蛛。用状态码日志定位是哪一层拒绝,再把蜘蛛 IP 加白、抬高限速阈值、压住 5xx,频次自然会回来。
