sitemap 的 lastmod 全写成同一天 8400 条不回抓怎么办

站点地图由脚本生成,lastmod 取的是生成时间,每天跑一次,全站 8,400 条 URL 的 lastmod 都是当天 03:00。提交后第 9 天发现,回抓次数从日均 5,600 掉到 1,900,新发的 120 篇文章只有 34 篇被收录。

第一反应是文件格式坏了。用 GSC 的文件检查跑了一遍,能读,条数对,没有格式错误,索引状态一直是「成功」,只是抓取量在掉。

问题在 lastmod 的可信度。每天都变等于每天都告诉对方「全站更新了」,连续几周之后这个字段被判成无效信号,调度不再参考它,退回按历史频率平均分配。8,400 条里真正更新的每天不到 40 条,其余都是噪音。

改法是让 lastmod 取真实修改时间。文章表里有 updated_at,商品表有 price_changed_at,栏目页取该栏目下最后更新的一篇。生成脚本改成读这些字段,没有更新时间的就省略 lastmod,不要填当天。

改完前三天回抓没变化,第 6 天开始有反应。日均抓取从 1,900 回到 4,300,第 20 天到 5,200。新文章的收录中位数从 11 天缩到 4 天,那 120 篇补收了 78 篇。

有个坑:时间必须带时区,2024-11-02T09:14:00+08:00,只写日期在跨时区抓取时会被算错一天。我们第一版只写了日期,30 条被判成未来时间,直接不抓。

现在每天生成两份:全量的按周更新,增量的只放 24 小时内变更的 URL,单独提交。增量文件的被抓率 96%,全量的只有 34%。


SELECT id, slug, UNIX_TIMESTAMP(updated_at) AS t
FROM articles
WHERE status = 1
  AND updated_at > NOW() - INTERVAL 1 DAY
ORDER BY updated_at DESC;

您可以还会对下面的文章感兴趣: