sitemap 的 lastmod 全写成同一天 8400 条不回抓怎么办

陆零云 28 0
站点地图由脚本生成,lastmod 取的是生成时间,每天跑一次,全站 8,400 条 URL 的 lastmod 都是当天 03:00。提交后第 9 天发现,回抓次数从日均 5,600 掉到 1,900,新发的 120 篇文章只有 34 篇被收录。 第一反应是文件格式坏了。用 GSC 的文件检查跑了一遍,能读,条数对,没有格式错误,索引状态一直是「成功」,只是抓取量在掉。 问题在 lastmod 的可信度。每天都变等于每天都告诉对方「全站更新了」,连续几周...

sitemap 三周零抓取 假 lastmod 怎么反而拖掉 3000 条

陆零云 32 0
10 月 12 日提交 sitemap,1860 条 URL。三周过去,Google 那边的状态一直显示「成功」,但 sitemap 来源的抓取每天不到 40 条,新页面只进了 9 条索引。 翻生成 sitemap 的脚本才看到问题:lastmod 用的是 date('c'),也就是每次生成那一刻的当前时间。整份文件 1860 条 URL 时间戳完全一样,而且每天都会变成新的一天。 当时的想法是让爬虫觉得站点很活跃。结果相反,抓取频次没涨,已有页面的索引还...