GSC 里已提交的网址显示 16,800 条,站内实际只有 8,400 条。两个 sitemap 在同时跑:一个是 CMS 插件按栏目生成,一个是运维脚本按数据库全表导,内容重叠,URL 一条不差。
当时觉得多提交一份没坏处,三周后看数据才发现问题。抓取频次被摊成两半,同一批 URL 一天被请求两次,新发布的 200 篇文章平均 11 天才被抓到,索引数从 6,200 只涨到 6,400。
先把旧文件留着观察了两周,确认微博客那边仍在抓 sitemap_old.XML。直接删文件不行,会返回 404,GSC 里报「无法读取站点地图」,反而把已有的收录状态弄乱。做法是保留路径,把内容 301 到新的索引文件。
合并时只留一个 sitemapindex,下面按栏目分 8 个子文件,每个控制在 5 万条以内。生成脚本改成只读一张发布表,状态必须是 published,再去重一次,按 URL 做 md5 去重而不是按 ID。
lastmod 之前是脚本运行时间,全站一个值。改成取文章真实更新时间,没有更新的文章不写 lastmod,省得每次都当成新页面。改完提交,第一周抓取请求降了 37%,但落在详情页的比例从 52% 升到 79%。
两周后已提交数变成 8,400,索引 7,200,重复抓取基本消失。核对方式是下载 GSC 的已提交网址数,和 sitemapindex 里所有 loc 的行数相加对一次,差值为 0 才算干净。
<sitemapindex
xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>https://idc.00645.com/sm/news.xml</loc>
</sitemap>
</sitemapindex> 