分页第 2 页起全设 noindex 深层商品 2100 条不收录怎么办

列表页有 62 个分页,地址是 /list/2.html 到 /list/62.html。年初做「减少重复内容」时,模板给第 2 页之后的每个分页都加了 noindex,理由是用户主要看第一页。半年后统计,只在分页里出现的商品有 2,100 个,收录数是 0。

第一反应是这些商品本身质量差。抽查 40 个,标题、参数、图片都齐全,跟首页推荐位没有区别。区别只在入口,第一页的商品有 3 条内链,分页里的只有 1 条,还带着 noindex。

给分页加 noindex 本身是常见做法,问题在它同时切断了爬虫发现深层商品的路径。分页不是重复页面,每页 40 个商品各不相同,当成重复处理,等于让 2,100 个页面变成孤岛。

试过只放开第 2 到 5 页的 noindex,第 6 页之后保留。两周后深层商品收录涨了 180 条,但被放开的分页里冒出 720 条「重复网页」,Canonical 是自指,仍被判相似。原因不在 noindex,在分页的 title 和 description 完全一样。

最后把分页当正常页面处理:去掉 noindex,每页输出 self canonical,title 带页码,description 写清这一页的商品区间,比如「第 3 页 法兰管件 61-120 号」。62 个分页的 title 批量生成,不手工写。

8 周后 2,100 个深层商品收录 1,780 个,分页本身收录 46 个,其余 16 个是商品不满 40 个的尾页,重新加回 noindex。抓取日志里分页请求占比从 9% 涨到 14%,总量没超。


<title>法兰管件 第 3 页 | 61-120 号</title>
<link rel="canonical"
      href="https://idc.00645.com/list/3.html">
<meta name="robots" content="index,follow">

您可以还会对下面的文章感兴趣: