陆零云
34
0
现象
站点换成中文标题的伪静态之后,sitemap.xml 里的 loc 直接写了带汉字的地址,百度抓取诊断一直报 400,必应那边显示 URL 无效。可同样的地址粘到浏览器里能正常打开,看起来像抓取工具的问题。
原因
XML 里的 loc 必须是合法 URI,中文、空格、括号都要做百分号编码。爬虫按原样发请求,遇到没转义的汉字会把请求行判为非法,直接返回 400。浏览器帮你兜了这一层,所以人工点开一切正常。另一个常见来源是程序拼 URL 时用了原始标题,...
陆零云
45
0
现象
搜索资源平台里做抓取诊断,结果一直显示 HTTP 403,返回内容是一段拦截提示页。自己用浏览器访问同一个地址完全正常,服务器访问日志里带 Baiduspider 的请求却几乎全是 403,收录量也跟着往下掉。
原因
CDN 或 WAF 的 Bot 管理把百度蜘蛛当成恶意爬虫拦了,也可能是 Nginx 里配了 UA 黑名单,规则里带 spider 关键字,把 Baiduspider 一并命中。还有一种是限流规则按 IP 频次触发,蜘蛛集中抓取时被临时...
陆零云
38
0
现象
新做的 sitemap.xml 能正常打开,XML 解析也没有问题,但搜索资源平台一直提示格式错误或抓取失败,已抓取数量停在个位数。排查发现每个 url 下的 lastmod 写的是 2026/11/09 10:30:00,还有几条是空标签。
原因
sitemaps.org 协议要求 lastmod 使用 W3C Datetime,也就是 ISO 8601 格式,必须是 2026-11-09 或 2026-11-09T10:30:00+08:00 这...
陆零云
32
0
现象
站点的 sitemap 由 PHP 动态生成,地址 /sitemap.xml 在浏览器里能正常打开,显示的是标准 XML 内容。提交到百度搜索资源平台后 15 天,抓取次数一直是 0,诊断提示「内容格式不正确」。同一份文件手动下载下来用 XML 解析器读取,却完全符合规范。
原因
动态输出没有设置 Content-Type,Nginx 按默认的 text/html 返回。蜘蛛凭 MIME 判断文件类型,收到 text/html 就不再当 sitema...
陆零云
66
0
现象:抓取诊断里 robots.txt 直接 403
在百度搜索资源平台做抓取诊断,提示 robots.txt 返回状态码 403,站点收录量随之下降。用浏览器打开同一个地址却能看到内容,甚至返回 200。
原因:人和蜘蛛看到的不一样
UA 黑名单。防护插件或 Nginx 把 Baiduspider 当成采集器拦掉,浏览器 UA 则放行。
WAF 或 CDN 规则。云 WAF 默认开启爬虫防护,高频抓取直接返回 403,还可能带人机校验。
文件权限或路...