sitemap.xml 里 URL 带中文没转义 百度抓取报 400 怎么改

现象

站点换成中文标题的伪静态之后,sitemap.XML 里的 loC 直接写了带汉字的地址,百度抓取诊断一直报 400,必应那边显示 URL 无效。可同样的地址粘到浏览器里能正常打开,看起来像抓取工具的问题。

原因

XML 里的 loc 必须是合法 URI,中文、空格、括号都要做百分号编码。爬虫按原样发请求,遇到没转义的汉字会把请求行判为非法,直接返回 400。浏览器帮你兜了这一层,所以人工点开一切正常。另一个常见来源是程序拼 URL 时用了原始标题,没有过 urlencode。

解决步骤

第一步,确认 sitemap 里写的到底是什么。抓一份下来搜汉字,能搜到就说明没转义;再用 curl 分别请求原始地址和编码后的地址,对比状态码。

curl -s https://example.com/sitemap.xml | grep -n "[一-龥]"
curl -sI "https://example.com/tag/测试.html" | head -1

第二步,在生成端统一编码。PHP 用 rawurlencode 处理路径段,但不要整条 URL 一起编码,协议和域名得保留;Python 用 urllib.parse.quote,safe 参数留斜杠。改完重新生成 sitemap,别手工改几行就当修好了。

第三步,处理已经提交出去的旧地址。在搜索资源平台重新提交 sitemap,旧的错误链接用 301 指到编码后的地址,观察一周抓取错误数有没有往下掉。

验证

重新抓一次 sitemap,确认里面搜不到汉字;抽十条 loc 用 curl -I 请求,状态码都是 200;百度抓取诊断对同一条地址不再报 400,说明编码这一层通了。

小结

中文 URL 不是不能用,但 sitemap 里必须编码。生成端统一转义,比事后一条条修省事得多。

您可以还会对下面的文章感兴趣: