蜘蛛日志里 404 占 38%:URL 大小写和尾斜杠怎么归一

陆零云 22 0
把一天的 Nginx 日志按 UA 过滤出百度蜘蛛,1.9 万次请求里 7,200 次返回 404,占 38%。站点总共才 2,100 篇文章,一天被撞出七千个死链,说明有大量变体地址在被反复请求。 抽样看路径,三类最集中:/PHP/opcache.html 这种大小写混写、/php/opcache.html/ 带尾斜杠、还有 /index.php/php/opcache.html 这种带入口文件的。第一反应是加一条 rewrite 全转小写,上线当天出现...

canonical 指向 301 地址 900 条全被忽略怎么一次改平

陆零云 31 0
站内 URL 结构改过一次,老路径 /p/123.html 301 到 /article/123.html,模板里的 canonical 没跟着改,仍然输出老地址。改版两个月,GSC 里 900 条文章显示「已排除(备用网页,有规范标签)」,收录数从 2,400 掉到 1,500。 原因是 canonical 指向了一个 301。跟到 301 之后落到新地址,再读新地址的 canonical,又指回老地址。两边都不认自己,最后选中哪条全看运气,900 条里...

老域名 301 过来 60 天:新站收录为什么还停在 40 条

陆零云 29 0
老站 3,200 条内容整体搬到新域名,映射表一条条对过,301 全部一跳到位。60 天后新站收录 40 条,老站索引还剩 2,700。这个数字很难看,等于搬家搬了一半。 第一反应是 301 没生效。抽 50 条 curl -I,全部 301,Location 指向新站对应页,没有跳转链。百度后台的改版规则也提交了,状态是校验中。 怀疑新站抓取太少。翻日志,百度每天来 300 次,其中 240 次抓的是老站的跳转,新站被直接抓的只有 60 次。蜘蛛大部分时...

死链扫出 12000 条 404 先删还是先 301 批量处理怎么排

陆零云 26 0
Screaming Frog 扫完 4 万个 URL,导出的 404 列表有 12000 条,Excel 打开都卡。第一反应是赶紧做 301,全部指到首页,省事。上线第二天百度索引从 8600 掉到 6100,站长后台提示软 404。 踩完这个坑才回头做分类。用 awk 按路径第一段聚合,9000 多条是 /tag/ 开头的空标签页,1500 条是老域名换绑前的文章地址,剩下的是被采集站伪造的参数页。三类处理方式完全不同,混在一起批量跳转只会把权重搅乱。...