百度收录量一周掉了一半,先查 robots.txt
站点昨天百度收录量还有 1200 多条,今天一查只剩 500 出头,掉了将近 60%。第一反应是被算法惩罚了,但站长平台没有任何违规通知。用 site: 域名查首页还在,内页大面积消失。这种首页还在、内页全掉的情况,八成是爬虫抓取出了问题,最先要查的就是根目录下的 robots.txt。
robots.txt 误写 Disallow 导致整站不抓取
打开 robots.txt,发现里面多了一行 Disallow: /。这行的意思是禁止所有爬虫抓取整站任何路径,百度蜘蛛来了一看规则直接掉头走,内页自然不再更新收录。这行通常是改版或调试时加上忘了删,或者被安全插件误写。正确的写法是只禁止后台、缓存、临时目录这些不该收录的路径,而不是整个站点。
# 错误写法:禁止所有爬虫抓取整站
User-agent: *
Disallow: /
# 正确写法:只禁止后台和敏感目录
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cache/
Disallow: /tmp/
Allow: /
# 单独允许百度图片抓取
User-agent: Baiduspider-image
Allow: /
改完 robots.txt 后主动让百度重新抓取
改完 robots.txt 不要干等,去百度搜索资源平台提交。先在普通收录里的资源提交 sitemap 项重新提交 sitemap.XML,再用抓取诊断工具输入首页和几个重要内页 URL,确认返回状态是 200 且允许抓取。抓取诊断一天能用 200 次,足够覆盖主要栏目页。
提交 API 推送配额加快内页重新收录
抓取诊断通过后,到普通收录里的资源提交 API 推送项,把最近 30 天的内页 URL 批量提交。API 推送每天有配额,普通站点一般是 1000 条每天,能显著加快百度重新发现页面的速度。提交后 3 到 7 天内页会陆续恢复收录,不用天天查收录量,一周后再对比数据更稳妥。
预防再次误写 robots.txt
在 robots.txt 顶部加注释说明用途,后台用户权限里只让管理员能编辑模板文件,避免编辑误操作。如果用 WordPress,安装会动态生成 robots.txt 的插件时,别和根目录的静态文件冲突。每月用百度抓取诊断跑一次首页,发现 Disallow 异常能第一时间发现,不至于等到收录掉一半才反应过来。
总结:百度收录量突然掉一半且首页还在,先查 robots.txt 有没有误写 Disallow: /。改对规则后重新提交 sitemap 和抓取诊断,再用 API 推送批量提交内页 URL,一周左右收录就能恢复。
