陆零云
28
0
站点地图由脚本生成,lastmod 取的是生成时间,每天跑一次,全站 8,400 条 URL 的 lastmod 都是当天 03:00。提交后第 9 天发现,回抓次数从日均 5,600 掉到 1,900,新发的 120 篇文章只有 34 篇被收录。
第一反应是文件格式坏了。用 GSC 的文件检查跑了一遍,能读,条数对,没有格式错误,索引状态一直是「成功」,只是抓取量在掉。
问题在 lastmod 的可信度。每天都变等于每天都告诉对方「全站更新了」,连续几周...
陆零云
31
0
十月的抓取统计出来,Baiduspider 日均 2100 次,七月还是 8000 次。新发的 400 篇文章,收录只有 90 篇。服务器这边一切正常,nginx 平均响应 180 ms,5xx 占比 0.2%。
第一反应是站点变慢或者被限速。查了带宽、CPU、防火墙,没有异常。抓取日志里也没有 429 和 403,蜘蛛来的时候都给了 200。
后来在 robots.txt 里看到一行 Crawl-delay: 10,是三个月前运维加的,说怕蜘蛛压垮机器。...
陆零云
29
0
把全站 46 个栏目页的内链导出来数了一遍,1,200 条链接里 1,104 条指向列表页和分页,指向详情页的只有 96 条。详情页平均抓取间隔 11 天,最久的一条 38 天没被抓过。
第一反应是加相关推荐。模板里随机取 6 条同栏目文章,一个月后复查,详情页内链从 96 涨到 1,900,但分布极端:前 20 个热门页各收到 800 多条,长尾页还是一条没有。随机取的是按发布时间倒序的前几条,等于把权重全灌给最新文章。
改成按类目加型号关联。每页固定...
陆零云
32
0
10 月 12 日提交 sitemap,1860 条 URL。三周过去,Google 那边的状态一直显示「成功」,但 sitemap 来源的抓取每天不到 40 条,新页面只进了 9 条索引。
翻生成 sitemap 的脚本才看到问题:lastmod 用的是 date('c'),也就是每次生成那一刻的当前时间。整份文件 1860 条 URL 时间戳完全一样,而且每天都会变成新的一天。
当时的想法是让爬虫觉得站点很活跃。结果相反,抓取频次没涨,已有页面的索引还...
陆零云
38
0
现象
站点没做任何改版,搜索资源平台里的抓取频次一周内从每天 6 万次掉到 1.8 万次,降幅接近 70%。日志里同时出现大量 429 和 503,蜘蛛来的 IP 段越来越少。奇怪的是线上用户访问一切正常,服务器 CPU 和带宽都只有三成负载。
原因
抓取频次下降几乎都是服务器主动回绝的结果。安全软件或 WAF 把百度 IP 段当成爬虫拦截,返回 429 或 403;Nginx 的 limit_req 限速阈值设得太低,蜘蛛一批量抓取就被挡;PHP-FPM...