sitemap 三周零抓取 假 lastmod 怎么反而拖掉 3000 条

10 月 12 日提交 sitemap,1860 条 URL。三周过去,Google 那边的状态一直显示「成功」,但 sitemap 来源的抓取每天不到 40 条,新页面只进了 9 条索引。

翻生成 sitemap 的脚本才看到问题:lastmod 用的是 date('C'),也就是每次生成那一刻的当前时间。整份文件 1860 条 URL 时间戳完全一样,而且每天都会变成新的一天。

当时的想法是让爬虫觉得站点很活跃。结果相反,抓取频次没涨,已有页面的索引还掉了 3000 条。GSC 的 sitemap 报告里看不出异常,是我把两天的 sitemap 下载下来做对比,才发现所有时间都在变。

试过的无效操作:重新提交 sitemap、ping 百度、把 1860 条拆成 4 个分片、在 robots.txt 里加 Sitemap 声明。这些都不会让一个不可信的 lastmod 变得可信。

<url>
  <loc>https://www.example.com/post/123.html</loc>
  <lastmod>2026-10-14T09:12:33+08:00</lastmod>
</url>

改法是换成文章真实修改时间,从数据库的 modify_time 取,时区补 +08:00。同时只保留最近 90 天有改动的 URL,主 sitemap 从 1860 条裁到 640 条,剩下 1220 条挪到归档 sitemap 单独提交。

裁完主文件里每一条的时间戳都不一样,而且都落在最近三个月。归档那份的优先级设低,爬虫愿意抓就抓,不抓也不影响主文件的信任度。

第四天抓取从每天 300 条涨到 1900 条,第十二天新页面收录 210 条。中间没动别的东西,只改了 lastmod 和条目数量。

一个判断:lastmod 造假比不写更糟。不写的时候爬虫按自己的节奏来,天天改等于告诉它这 1860 个页面每天全变,要么不信,要么全抓一遍,抓取预算被摊到没有价值的页面上。

现在每次生成 sitemap 会打一条日志,记录本次 lastmod 变化的 URL 数量。超过 50 条我就去看一眼,正常日更站不该有这么多。

您可以还会对下面的文章感兴趣: