现象
站点的 sitemap 由 PHP 动态生成,地址 /sitemap.XML 在浏览器里能正常打开,显示的是标准 XML 内容。提交到百度搜索资源平台后 15 天,抓取次数一直是 0,诊断提示「内容格式不正确」。同一份文件手动下载下来用 XML 解析器读取,却完全符合规范。
原因
动态输出没有设置 Content-Type,Nginx 按默认的 text/html 返回。蜘蛛凭 MIME 判断文件类型,收到 text/html 就不再当 sitemap 解析,直接判为普通页面。其次是文件开头带 BOM 或多了一个空行,XML 声明不在第一行;PHP 输出前有空白字符,压缩后长度头与实际内容不一致,同样会被整份丢弃。
解决步骤
第一步,查看响应头和文件头字节。确认 MIME 是否被改写,以及第一行之前有没有多余字节。
curl -sI https://www.example.com/sitemap.xml
curl -s https://www.example.com/sitemap.xml | head -c 64 \
| xxd | head -3
第二步,后端显式声明类型并去掉 BOM。输出前不能有任何空白,声明必须是文件第一行。
header('Content-Type: application/xml; charset=utf-8');
$head = '<?xml version="1.0" encoding="UTF-8"?>';
echo $head . $body;
第三步,控制体积并筛选地址。单文件不超过 5 万条、50MB,超了拆成 sitemap 索引;只保留返回 200 且允许索引的 URL,把 301、404、noindex 的地址全部剔除,再重新提交一次。
验证
重新提交后 24 小时内抓取次数大于 0,格式校验通过,索引量开始随新增文章增长。
小结
sitemap 被拒多半不是内容问题,而是 MIME 与编码问题。先用 curl 看响应头和首字节,再声明 application/xml、清掉 BOM,最后才谈条目质量。
