sitemap.xml 里 URL 带中文没转义 百度抓取报 400 怎么改

陆零云 34 0
现象 站点换成中文标题的伪静态之后,sitemap.xml 里的 loc 直接写了带汉字的地址,百度抓取诊断一直报 400,必应那边显示 URL 无效。可同样的地址粘到浏览器里能正常打开,看起来像抓取工具的问题。 原因 XML 里的 loc 必须是合法 URI,中文、空格、括号都要做百分号编码。爬虫按原样发请求,遇到没转义的汉字会把请求行判为非法,直接返回 400。浏览器帮你兜了这一层,所以人工点开一切正常。另一个常见来源是程序拼 URL 时用了原始标题,...

百度抓取诊断一直报 403 UA 白名单怎么配

陆零云 45 0
现象 搜索资源平台里做抓取诊断,结果一直显示 HTTP 403,返回内容是一段拦截提示页。自己用浏览器访问同一个地址完全正常,服务器访问日志里带 Baiduspider 的请求却几乎全是 403,收录量也跟着往下掉。 原因 CDN 或 WAF 的 Bot 管理把百度蜘蛛当成恶意爬虫拦了,也可能是 Nginx 里配了 UA 黑名单,规则里带 spider 关键字,把 Baiduspider 一并命中。还有一种是限流规则按 IP 频次触发,蜘蛛集中抓取时被临时...

sitemap 的 lastmod 写成 2026/11/09 格式错误抓取异常怎么修

陆零云 38 0
现象 新做的 sitemap.xml 能正常打开,XML 解析也没有问题,但搜索资源平台一直提示格式错误或抓取失败,已抓取数量停在个位数。排查发现每个 url 下的 lastmod 写的是 2026/11/09 10:30:00,还有几条是空标签。 原因 sitemaps.org 协议要求 lastmod 使用 W3C Datetime,也就是 ISO 8601 格式,必须是 2026-11-09 或 2026-11-09T10:30:00+08:00 这...

sitemap.xml 返回 text/plain 百度提交 15 天抓取失败怎么改

陆零云 32 0
现象 站点的 sitemap 由 PHP 动态生成,地址 /sitemap.xml 在浏览器里能正常打开,显示的是标准 XML 内容。提交到百度搜索资源平台后 15 天,抓取次数一直是 0,诊断提示「内容格式不正确」。同一份文件手动下载下来用 XML 解析器读取,却完全符合规范。 原因 动态输出没有设置 Content-Type,Nginx 按默认的 text/html 返回。蜘蛛凭 MIME 判断文件类型,收到 text/html 就不再当 sitema...

百度抓取诊断提示 robots.txt 返回 403 怎么解决

陆零云 66 0
现象:抓取诊断里 robots.txt 直接 403 在百度搜索资源平台做抓取诊断,提示 robots.txt 返回状态码 403,站点收录量随之下降。用浏览器打开同一个地址却能看到内容,甚至返回 200。 原因:人和蜘蛛看到的不一样 UA 黑名单。防护插件或 Nginx 把 Baiduspider 当成采集器拦掉,浏览器 UA 则放行。 WAF 或 CDN 规则。云 WAF 默认开启爬虫防护,高频抓取直接返回 403,还可能带人机校验。 文件权限或路...