robots.txt 的 Crawl-delay 10 百度为什么抓得越来越慢

陆零云 32 0
十月的抓取统计出来,Baiduspider 日均 2100 次,七月还是 8000 次。新发的 400 篇文章,收录只有 90 篇。服务器这边一切正常,nginx 平均响应 180 ms,5xx 占比 0.2%。 第一反应是站点变慢或者被限速。查了带宽、CPU、防火墙,没有异常。抓取日志里也没有 429 和 403,蜘蛛来的时候都给了 200。 后来在 robots.txt 里看到一行 Crawl-delay: 10,是三个月前运维加的,说怕蜘蛛压垮机器。...