Screaming Frog 扫完 4 万个 URL,导出的 404 列表有 12000 条,Excel 打开都卡。第一反应是赶紧做 301,全部指到首页,省事。上线第二天百度索引从 8600 掉到 6100,站长后台提示软 404。
踩完这个坑才回头做分类。用 awk 按路径第一段聚合,9000 多条是 /tag/ 开头的空标签页,1500 条是老域名换绑前的文章地址,剩下的是被采集站伪造的参数页。三类处理方式完全不同,混在一起批量跳转只会把权重搅乱。
空标签页没有外链也没有搜索流量,直接 410,让蜘蛛尽快删索引;老文章地址有真实外链,做一对一 301 映射;参数页统一在 robots 里拦掉,别再让蜘蛛浪费抓取配额。
410 提交有讲究。百度站长后台的死链工具一次最多贴 1000 条,12000 条要分 12 批,每批隔一天,贴太快会被当成异常提交。提交前先 curl -I 看一眼,确认真的返回 410,而不是 404 再跳转,后者会被判成软 404。
老域名那 1500 条我做了映射表,两列,左边旧路径右边新 URL,导出 csv 后生成 nginx 的 rewrite。映射不上的先跳栏目页,别硬跳首页。这批 URL 里有 40 多条有外链,跳错等于把外链权重扔掉。
awk -F, 'NR>1{split($1,a,"/"); print "/"a[4]}' 404.csv \
| sort | uniq -c | sort -rn | head -20
判断有没有价值这一步不能省。我从百度站长后台导出这批 URL 的展现和点击,12000 条里只有 300 多条有展现,其余是纯死链。有展现的那批人工核对目标页,剩下的批量处理。
三周后再扫,404 剩 400 条左右,索引量回到 8300。顺序如果反过来,先批量 301 再分类,那 9000 条空标签页会把首页拖成一个巨大的软 404 集合,恢复起来比现在麻烦得多。
