站点 1,400 条 URL,sitemap.XML 原始 380KB。按平台建议压成 sitemap.xml.gz 上传,百度那边状态一直是「抓取失败」,GSC 报「无法读取站点地图」,两边读出来的条数都是 0。
第一反应是压缩包坏了。下载回来跑 gunzip -t,没有报错;解压后 head 一看,xml 声明和 urlset 都在。文件本身没问题,那就只剩服务器返回的方式不对。
curl -I 看响应头,Content-Type 是 application/octet-stream。Nginx 的 mime.types 里只有 application/gzip gz,没有 xml.gz 这一条,落到了 default_type。百度要求这个地址返回 application/x-gzip,类型不对直接不读。
改 mime.types 加一行,重新加载,类型对了,读取条数还是 0。这次把响应体存下来再解,发现要解两次才出 xml。原因是 server 段里开着 gzip on,Nginx 看到客户端 accept-Encoding 带 gzip,就把已经压过的 .gz 又压了一遍。抓取工具只解一层,拿到的还是二进制。
修法是给 sitemap 单独一个 location,关掉 gzip,类型写死,不依赖全局配置。
location = /sitemap.xml.gz {
gzip off;
types { }
default_type application/x-gzip;
}
这里有个细节,Content-Encoding: gzip 到底要不要发。发了之后,有的抓取工具会再解一层,反而出错;不发,百度和 GSC 都能按 .gz 后缀识别。我们最后去掉了这一行,只留类型。
另一个选择是干脆不压缩。1,400 条拆成四个文件,每个 350 条,用 sitemapindex 串起来,单文件 95KB,不压也能接受,维护成本还低。这个方案留作备选,站点明年要涨到 6,000 条。
确认方式:curl -sI 三个头逐个核对,Content-Type 是 application/x-gzip,没有 Content-Encoding,Content-Length 和本地文件字节数一致;再用 zcat 解出来,首行是 xml 声明。百度第四天显示已提交 1,400 条、已抓取 1,400 条,GSC 的状态从「无法读取」变成「成功」。
