陆零云
34
0
站点跑到 12 万条 URL,sitemap.xml 生成到 50000 条就停,后面 7 万条一条没进去。搜索资源平台显示已提交 5 万条,实际抓取一直是 3 万多。
sitemap 协议本身有上限:单个文件 5 万条,解压后 50 MB。超了不是截断,是整份文件被判无效。很多生成脚本不报错,写一半就退出,看起来文件还在。
拆成 3 个分片,每片 4 万条,用 sitemapindex 索引。留 1 万条余量是给新文章用的,不然每发一篇就要重算分片,CD...
陆零云
42
0
现象
文章超两万条后,把 sitemap 拆成索引加子文件:/sitemap.xml 输出 sitemapindex,列出 sitemap-post.xml 等子地址。提交到搜索资源平台一直提示 404 抓取失败;直接打开 /sitemap.xml 正常,点开子地址却是 404 页,日志里百度蜘蛛请求 sitemap-post.xml 也全是 404。
原因
常见三类。一是子 sitemap 实际路径和 loc 不一致,文件在子目录,loc 写成根目录,蜘...
陆零云
44
0
现象
搜索资源平台里做抓取诊断,结果一直显示 HTTP 403,返回内容是一段拦截提示页。自己用浏览器访问同一个地址完全正常,服务器访问日志里带 Baiduspider 的请求却几乎全是 403,收录量也跟着往下掉。
原因
CDN 或 WAF 的 Bot 管理把百度蜘蛛当成恶意爬虫拦了,也可能是 Nginx 里配了 UA 黑名单,规则里带 spider 关键字,把 Baiduspider 一并命中。还有一种是限流规则按 IP 频次触发,蜘蛛集中抓取时被临时...
陆零云
35
0
现象
多语言站每个页面都同时写了 canonical 和 hreflang,后台报告里出现重复网页、用户未选定规范网页的提示,简体中文页的收录跑到了英文页下面。检查代码发现 canonical 指向主语言,而 hreflang 指向带参数的另一个地址。
原因
canonical 声明本页的唯一版本,hreflang 声明语言和地区变体,两者语义不同但必须自洽。hreflang 指向的每个地址都应该能自指 canonical,如果 canonical 把所有...
陆零云
37
0
现象
新做的 sitemap.xml 能正常打开,XML 解析也没有问题,但搜索资源平台一直提示格式错误或抓取失败,已抓取数量停在个位数。排查发现每个 url 下的 lastmod 写的是 2026/11/09 10:30:00,还有几条是空标签。
原因
sitemaps.org 协议要求 lastmod 使用 W3C Datetime,也就是 ISO 8601 格式,必须是 2026-11-09 或 2026-11-09T10:30:00+08:00 这...
陆零云
38
0
现象
为了挡住站内搜索和筛选参数,robots.txt 里加了一条 Disallow: /*?*,几天后百度收录从 3200 掉到 900,抓取诊断里分页地址全部显示 blocked by robots.txt,列表第二页以后再也进不了索引,流量跟着下滑。
原因
/*?* 匹配任何带问号的 URL,分页、排序、筛选、追踪参数全被打中。robots 规则按最长匹配优先,同等长度时 Allow 优先,但这条规则没有配套的 Allow 兜底,分页链接就被整段封死...
陆零云
37
0
现象:内容改了半个月,快照和摘要还是旧的
页面标题改完、正文重新排版,搜索结果里的摘要却停在 20 天前,site 语法查收录数量又正常。快照不更新多数不是降权,而是蜘蛛每次来都拿到 304,认定页面没有变化,逐渐降低了更新优先级。
第一步:确认蜘蛛还来不来
先在搜索资源平台看抓取频次曲线,再从 Nginx 日志里筛当天百度蜘蛛的访问记录。频次正常但快照旧,问题基本出在响应头;频次掉到接近零,先把抓取修好再谈更新。
grep "Baiduspider"...
陆零云
49
0
先确认是 robots.txt 挡住了
上线新站时顺手加了 Disallow: /*?*,本想把带参数的地址统一屏蔽,结果百度收录从 3200 条掉到 800 条。原因是列表页、筛选页、分页几乎全带问号,规则一挡蜘蛛连抓都不抓,已收录的地址在下次校验时被判成不可访问,慢慢被剔除。别急着改模板,先在浏览器直接打开站点根目录的 robots.txt 看当前规则,再用搜索资源平台的检测工具把具体 URL 粘进去,看返回的结论是允许还是拦截。
curl -I ht...
陆零云
52
0
现象:sitemap 提交两周,收录量还是不动
站点地图在搜索资源平台显示已提交,抓取频次却一直是个位数,site: 查不到新增页面。页面本身能正常打开,也没有做过任何屏蔽,问题通常出在抓取链路上的三个开关。
判断:先分清是抓不到还是抓了不收
抓取诊断返回 4xx、5xx 或超时,属于抓不到,先修服务器和 URL 本身;
返回 200 但页面里有 noindex,或 canonical 指向别的地址,抓到了也不会进索引;
抓取正常、正文与已有页面高度重...
陆零云
48
0
现象:首页能跳,内页却打不开
网站从老域名换到新域名后,访问老域名首页会自动跳到新站,但点开收藏的内页链接,要么还是老站内容,要么直接 404。搜索资源平台显示新域名收录很少,老域名的排名也在往下掉。
原因:跳转只覆盖了一部分入口
只写了首页跳转,没有用 $request_uri 保留原路径,内页自然对不上。
http 和 https 两套 server 块只改了其中一套,从 http 进来的请求依旧落到老配置。
CDN 缓存了旧的 301 或 200...