sitemap 超 5 万条被截断 分片和 gzip 怎么维护

站点跑到 12 万条 URL,sitemap.XML 生成到 50000 条就停,后面 7 万条一条没进去。搜索资源平台显示已提交 5 万条,实际抓取一直是 3 万多。

sitemap 协议本身有上限:单个文件 5 万条,解压后 50 MB。超了不是截断,是整份文件被判无效。很多生成脚本不报错,写一半就退出,看起来文件还在。

拆成 3 个分片,每片 4 万条,用 sitemapindex 索引。留 1 万条余量是给新文章用的,不然每发一篇就要重算分片,CDN 缓存全失效。

lastmod 是另一个坑。原来全站写死生成时间,蜘蛛每天来都看到所有页面刚更新,抓取频次反而降了。现在读文章的 updated_at,只有真正改过内容的页面才变。

分片不是越细越好。我试过每片 1 万条,12 个分片,蜘蛛每天只抓 2 个索引,最后一片 9 天没动。4 万条一片,3 个分片正好在一轮抓取周期内跑完。生成脚本里加了断言,单文件 URL 数超过 49000 直接抛异常,宁可不发布也不发一份残缺的 sitemap。

分片文件用 .xml.gz 输出,Content-Type 必须是 application/x-gzip,写成 text/plain 会被当普通文本,直接不解析。Nginx 开 gzip_static 就够,别在 PHP 里再压一次。

// 每片 4 万条 给新增文章留余量
$per = 40000;
$page = max(1, (int) ($_GET['p'] ?? 1));
$offset = ($page - 1) * $per;
$rows = $db->select(
  'SELECT id, url, updated_at FROM articles
   ORDER BY id LIMIT ? OFFSET ?', [$per, $offset]
);
header('Content-Type: application/xml; charset=utf-8');
header('Last-Modified: ' . gmdate(DATE_RFC7231, $mtime));

还有重复 URL 的问题。分页、筛选参数、打印页都进了 sitemap,12 万条里真正独立的页面只有 6 万多。加了 canonical 并剔掉带参 URL 之后,5 万条的分片刚好装下全站。三个分片提交后,抓取量从 3 万涨到 8 万用了 11 天。

您可以还会对下面的文章感兴趣: