陆零云
38
0
现象
新做的 sitemap.xml 能正常打开,XML 解析也没有问题,但搜索资源平台一直提示格式错误或抓取失败,已抓取数量停在个位数。排查发现每个 url 下的 lastmod 写的是 2026/11/09 10:30:00,还有几条是空标签。
原因
sitemaps.org 协议要求 lastmod 使用 W3C Datetime,也就是 ISO 8601 格式,必须是 2026-11-09 或 2026-11-09T10:30:00+08:00 这...
陆零云
38
0
百度收录量一周掉了一半,先查 robots.txt
站点昨天百度收录量还有 1200 多条,今天一查只剩 500 出头,掉了将近 60%。第一反应是被算法惩罚了,但站长平台没有任何违规通知。用 site: 域名查首页还在,内页大面积消失。这种首页还在、内页全掉的情况,八成是爬虫抓取出了问题,最先要查的就是根目录下的 robots.txt。
robots.txt 误写 Disallow 导致整站不抓取
打开 robots.txt,发现里面多了一行 Disa...
陆零云
30
0
先分清“提交了”和“被索引”
sitemap 只是告诉搜索引擎这些 URL 存在,真正决定索引量的是页面质量、重复度和抓取预算。后台显示提交 1200 条、site 查询只有 80 条,多数不是 sitemap 格式写错,而是里面混进了大量不该提交的地址:带参数的筛选页、分页复制页、已经 301 的旧域名、被 robots 或 noindex 挡住的页面。爬虫抓一次发现是重复内容,后面就会降低整个目录的抓取频次,越提交越不收录。
把 sitemap 和页...
陆零云
53
0
现象:sitemap 提交两周,收录量还是不动
站点地图在搜索资源平台显示已提交,抓取频次却一直是个位数,site: 查不到新增页面。页面本身能正常打开,也没有做过任何屏蔽,问题通常出在抓取链路上的三个开关。
判断:先分清是抓不到还是抓了不收
抓取诊断返回 4xx、5xx 或超时,属于抓不到,先修服务器和 URL 本身;
返回 200 但页面里有 noindex,或 canonical 指向别的地址,抓到了也不会进索引;
抓取正常、正文与已有页面高度重...
陆零云
211
0
现象描述:原本排在百度前三页的关键词掉到五页之后,新发布的文章迟迟不被蜘蛛抓取,site命令显示的收录数量逐日减少。可能原因:网站存在大量死链或返回404/503状态码,降低搜索引擎信任度页面标题、描述过度堆砌关键词,被判定为作弊服务器稳定性差,蜘蛛抓取时频繁超时外部垃圾外链暴增(负SEO攻击)处理方法:第一步:诊断服务器健康度使用百度搜索资源平台(原站长平台)的抓取诊断工具,模拟蜘蛛抓取首页和几个内页。若返回非200状态码,需排查服务器配置:检查.hta...