百度索引量从 4.2 万掉到 3.92 万,用了三天。站点没有改版,服务器也没挂过,robots.txt 和 301 规则都还是上个月那份。第一反应是被惩罚,把死链、外链、采集痕迹全查了一遍,没有异常提示。
改成按目录拆。导出索引量明细,按一级路径分组算差值,掉的 2,800 条里有 2,600 条集中在 /tag/ 和带 ?color= 的筛选页,商品详情页一条没掉。范围一下缩小了。
继续追这两类页面。上周模板改过一次,标签页和筛选页的列表逻辑合成一套,只换商品排序,文案和标题基本一样。抽 50 组做相似度,中位数 0.93,等于 2,600 个页面在讲同一件事。
处理分两种。12 个有真实搜索量的颜色组合做成静态路径,每个补一段独立的选购说明和对应商品图,标题写清颜色和材质;其余几千个组合保持 noindex,canonical 指回主分类页,不再指望被收。
标签页做了合并,300 个标签砍到 80 个,同义词合并到一个页面,每个保留至少 15 篇内容,不足的标签直接不生成页面,避免空壳。合并后 301 到保留的标签,跳转只一跳。
三周后索引量回到 4.1 万,掉的那部分没有全部回来,因为本来就不该收。确认方式是每周对比一次索引量和目录结构,某个目录的占比突然变化超过 5%,就去看那个目录最近改了什么。
import csv, collections
c = collections.Counter()
for r in csv.reader(open('index.csv', encoding='utf-8')):
if len(r) > 1 and r[1] == 'indexed':
c[r[0].split('/')[1]] += 1
for k, v in c.most_common(10):
print(k, v) 