现象
列表页的分页是 ?page=2 这种参数形式,模板里也加了 rel="next" 链接,但蜘蛛抓取第 2 页时一直返回 404,搜索资源平台显示大量分页地址抓取失败。首页排名的长尾词数量两个月没有增长,翻页内容完全没有进入索引。
原因
分页地址由前端拼接,接口只认 /list/p2.html 这种静态形式,两者对不上,蜘蛛按 rel next 指向的地址去抓就 404。其次,rel next 的输出位置与顺序错乱,第二页写成了指向第三页,形成死链式引用。部分 CDN 对带查询参数的分页做强缓存,缓存里存着早先的 404 响应。
解决步骤
第一步,核对分页地址是否可访问。直接从页面里取出 rel next 的地址请求一次。
curl -s https://www.example.com/list/ | grep -o 'rel="next"[^>]*'
curl -sI "https://www.example.com/list/?page=2" | head -1
第二步,静态化并统一规则。把分页地址改成 /list/p2.html 形式并保证可直出 200,rel 链接的 self、next、prev 与当前页严格对应,第一页不输出 prev,最后一页不输出 next。
<link rel="canonical" href="/list/p2.html">
<link rel="next" href="/list/p3.html">
<link rel="prev" href="/list/">
第三步,刷新缓存与提交。对分页目录单独清除 CDN 缓存,把分页规则写进 robots.txt 允许抓取,提交 sitemap 后让蜘蛛重新走一遍列表。
验证
第 2、3 页返回 200 并被正常抓取,rel 标签与分页按钮一致,一个月内翻页长尾词开始进入索引。
小结
分页失效多是规则不统一造成的 404。把分页地址静态化、rel 标签与页码对齐、清掉 CDN 旧缓存,翻页内容才有机会被收录。
