robots.txt 写了 Disallow: /*?* 后百度收录从 3200 掉到 800,怎么放开规则并恢复抓取

先确认是 robots.txt 挡住了

上线新站时顺手加了 Disallow: /*?*,本想把带参数的地址统一屏蔽,结果百度收录从 3200 条掉到 800 条。原因是列表页、筛选页、分页几乎全带问号,规则一挡蜘蛛连抓都不抓,已收录的地址在下次校验时被判成不可访问,慢慢被剔除。别急着改模板,先在浏览器直接打开站点根目录的 robots.txt 看当前规则,再用搜索资源平台的检测工具把具体 URL 粘进去,看返回的结论是允许还是拦截。

curl -I https://idc.00645.com/robots.txt
curl -A "Baiduspider" -I "https://idc.00645.com/list.html?page=2"

Disallow 要精确到路径,别整站通配

通配写法看着省事,实际把有价值的页面一起关掉了。正确做法是先放行列表页,只屏蔽后台、站内搜索结果、购物车这类不该进索引的路径。改完文件不代表立刻生效,百度对 robots.txt 有缓存,通常要等蜘蛛下一次抓取才更新,可以在平台里点一次规则更新,再观察抓取频次有没有变化。

User-agent: *
Disallow: /zb_system/
Disallow: /search/
Disallow: /*?*sort=
Allow: /*?page=
Allow: /*?p=

已收录页面要主动回推

规则放开之后,被挡住的 URL 不会自己回来。把带参数的列表页重新加进 sitemap,用普通链接提交而不是快速抓取,同时确认这些地址确实返回 200,而不是跳到 302 链路上。对已经失效的页面用死链提交,让蜘蛛删掉旧链接,比留着 404 反复撞墙划算。

grep -c "?page=" sitemap.xml
curl -o /dev/null -s -w "%{http_code}\n" "https://idc.00645.com/list.html?page=5"

恢复周期看抓取频次

放开规则第三天,抓取频次从每天 120 次回到 900 次,索引量开始回升。判断是否真恢复看三件事:robots.txt 的抓取状态正常,列表页的抓取诊断能拿到 200 和正文,索引量按周环比不再下降。如果两周都没动静,就翻服务端日志确认蜘蛛是不是被防火墙或 CDN 拦掉了,robots 只是入口,不是全部原因。

您可以还会对下面的文章感兴趣: