现象
文章超两万条后,把 sitemap 拆成索引加子文件:/sitemap.XML 输出 sitemapindex,列出 sitemap-post.xml 等子地址。提交到搜索资源平台一直提示 404 抓取失败;直接打开 /sitemap.xml 正常,点开子地址却是 404 页,日志里百度蜘蛛请求 sitemap-post.xml 也全是 404。
原因
常见三类。一是子 sitemap 实际路径和 loC 不一致,文件在子目录,loc 写成根目录,蜘蛛按根目录取自然 404。二是伪静态没放行 sitemap 路径,Z-BlogPHP 开 rewrite 后未匹配的请求交给入口文件,返回 404 页面而不是 XML。三是响应头设成 text/html,或强制 https 带 www 而 loc 还是 http 裸域名,跟随后落到空地址。
解决步骤
第一步,把 loc 里的地址逐条验证。不要只看索引文件能否打开,要拿每条子地址请求一次,确认状态码和内容类型都对。
curl -sI https://www.example.com/sitemap.xml | head -4
curl -s https://www.example.com/sitemap.xml | grep -o "<loc>[^<]*</loc>"
curl -sI https://www.example.com/sitemap-post.xml | head -4
第二步,统一绝对 URL 并对齐真实目录。loc 必须写完整协议加域名,子文件在哪级目录就照实写,协议和 www 都不能差;索引文件固定叫 sitemap.xml 放根目录,子文件与它同级最稳妥。
第三步,补齐路由和响应头。Nginx 给 sitemap 路径加精确 location,直接返回静态文件,别被重写规则吞掉;响应头声明 application/xml,中间不要有跳转。
location = /sitemap.xml {
default_type application/xml;
try_files /sitemap.xml =404;
}
验证
资源平台重新提交后,抓取诊断显示索引和子文件都返回 200 且类型为 XML;日志里蜘蛛请求以 200 为主。
小结
sitemapindex 报 404 多半不是文件丢了,而是 loc 路径、伪静态规则和响应头没说清。逐条验证、统一绝对 URL、放行路由并声明 XML 类型即可。
