陆零云
24
0
列表页有 62 个分页,地址是 /list/2.html 到 /list/62.html。年初做「减少重复内容」时,模板给第 2 页之后的每个分页都加了 noindex,理由是用户主要看第一页。半年后统计,只在分页里出现的商品有 2,100 个,收录数是 0。
第一反应是这些商品本身质量差。抽查 40 个,标题、参数、图片都齐全,跟首页推荐位没有区别。区别只在入口,第一页的商品有 3 条内链,分页里的只有 1 条,还带着 noindex。
给分页加 noi...
陆零云
34
0
三月给 1,400 条筛选结果页加了 meta name=robots content=noindex,想把这些组合参数页从索引里清出去。七月看 GSC 的覆盖率报告,这批 URL 还在「已编入索引」里,状态没动过。
第一反应是模板没生效。挑一条 URL 用浏览器无痕打开,查看源代码,noindex 明明在 head 里。又换了台机器、换了个网络,还是能看到。这时候我判断线上是对的,是 GSC 没更新。
真正的问题在命令行请求上。curl 同一条 URL,...
陆零云
33
0
站点 4,800 条 URL 全量塞进 sitemap,三周后 GSC 的已编入索引停在 3,980,另外 620 条在覆盖率报告里显示「已提交的网址已标记为 noindex」。这 620 条是标签聚合页和站内搜索结果页,模板里一直在输出 noindex,提交脚本没做过滤。
第一版处理是拿 robots.txt 的 Disallow 把这些路径挡掉,以为不抓就不会进索引。四周后标签页的索引量从 620 涨到 730,GSC 里那批 URL 的状态变成「已发...
陆零云
28
0
拉了一天百度蜘蛛的日志,总抓取 3000 次,其中 62.5% 落在 tag 页,内页只有 9%,首页和列表页占剩下的。
tag 页是标签组合自动生成的,一个标签一个 URL,还有标签加页码、标签加排序参数,站点一共 400 多篇内容,tag 页生出来 2.6 万个。蜘蛛进来就被这些低价值页吸住了。
第一反应是 robots 屏蔽 /tag/。试了两天,抓取量掉到 800 次,内页没涨,因为已经收录的 tag 页被屏蔽后变成死链,蜘蛛反复回来确认,预算没省...
陆零云
43
0
现象
站点上线一年多,索引量稳定在 4000 左右。一次主题升级后两周内索引量清零,搜索资源平台显示「索引覆盖」为 0,全站 site 几乎查不到任何结果,但页面本身访问正常,速度也没有变慢。
原因
最常见的元凶是模板把 noindex 写死在了通用 head 里,改版时从演示模板带进来没删掉;其次是 robots.txt 整站禁止或响应头带了 X-Robots-Tag: noindex;也有站点因为大面积采集、违规内容被整站降权。三者都会让索引量归零,但...