商品列表有 9 个分页,模板里的 Canonical 统一输出 /list/,第 2 页到第 9 页全指向第一页。改版后第 2 到 9 页的收录合计从 1,100 掉到 40,深层商品页的抓取频次掉了 46%。
当时的理由是「避免重复内容」,把分页当成了同一批商品的重复视图。实际每页展示 40 个不同商品,第 3 页和第 1 页的重合度是 0,canonical 一并等于告诉搜索引擎后 8 页不用收。
试过只加 rel=next/prev,不动 canonical,四周过去收录没有变化。这两条 link 现在只对部分搜索引擎有意义,Google 明确不再使用,指望它抵消错误的 canonical 不现实。
改法是每页输出自身 URL 的 canonical,第 N 页的 title 带「第 N 页」,description 写清这一页的商品区间。第 1 页保留不带页码的规范地址,翻页参数统一成 /list/3.html 这种路径,不用 ?page=3。
站内搜索结果页仍然 noindex,那类页面才是真重复。判断一个分页该不该收,看它有没有独立的商品集合,有就 self canonical,没有就 noindex,不要用 canonical 指第一页这种折中。
4 周后第 2 到 9 页收录回到 780,深层商品抓取恢复到改版前的 92%。第 9 页仍只有 3 条收录,那页商品已经下架一半,属于正常。
改版时还留了 ?page= 老参数可访问,同一批商品有两套 URL,抓取日志里 38% 的请求打在参数版上。加 301 到静态路径后,重复抓取降下来,canonical 才有机会被采信。
<link rel="canonical"
href="https://idc.00645.com/list/3.html">
<link rel="prev"
href="https://idc.00645.com/list/2.html">
<link rel="next"
href="https://idc.00645.com/list/4.html"> 