现象
为了挡住站内搜索和筛选参数,robots.txt 里加了一条 Disallow: /*?*,几天后百度收录从 3200 掉到 900,抓取诊断里分页地址全部显示 blocked by robots.txt,列表第二页以后再也进不了索引,流量跟着下滑。
原因
/*?* 匹配任何带问号的 URL,分页、排序、筛选、追踪参数全被打中。robots 规则按最长匹配优先,同等长度时 Allow 优先,但这条规则没有配套的 Allow 兜底,分页链接就被整段封死。百度蜘蛛遵守规则,看到屏蔽就不再抓取,已收录的内页也会逐步被移除。
解决步骤
第一步,先确认到底封了哪些地址。用抓取诊断和站点日志筛出带问号的 URL,按参数类型分类,区分分页参数与筛选参数,别一上来就整段删规则。
User-agent: Baiduspider
Allow: /*?page=
Disallow: /*?sort=
Disallow: /*?utm_
Disallow: /*?keyword=
第二步,用精确规则替换通配规则。只屏蔽排序、追踪、站内搜索这些无收录价值的参数,把分页参数单独 Allow 放行,规则要写在 Disallow 之前或保持同等长度,确保解析时命中 Allow。
第三步,推动重新抓取。更新 sitemap 并主动推送分页链接,在搜索资源平台提交规则变更,观察三到七天;已掉出的页面靠内链和 sitemap 重新引导蜘蛛回来,不要继续叠加新规则。
验证
抓取诊断里分页返回 200 且状态正常,robots 检测工具显示分页为允许,site 查询收录量逐步回升,日志里百度蜘蛛对分页的抓取次数明显增加。
小结
/*?* 是最容易误伤的写法,分页和筛选参数必须分开处理。用精确 Disallow 加 Allow 兜底,再配合 sitemap 推送,收录才能慢慢恢复。
