死链文件提交 24000 条只生效 300 条 少写一列怎么补

陆零云 29 0
站被采集工具刷了两年,404 日志每天 3,000 次请求,涉及约 2.4 万个垃圾 URL。用死链提交工具上传了一个 txt,两周后平台显示只处理了 300 条,其余全在失败明细里。 第一反应是工具没生效,把文件原样重传一次,结果还是 300。翻失败明细才看到原因,八成行写着「URL 格式错误」。 打开文件一看,每行是两个字段:地址和状态码,中间用空格隔开,比如 /shop/123.html 404。工具只认一行一个 URL,多出来的列被当成 URL 的...

死链扫出 12000 条 404 先删还是先 301 批量处理怎么排

陆零云 27 0
Screaming Frog 扫完 4 万个 URL,导出的 404 列表有 12000 条,Excel 打开都卡。第一反应是赶紧做 301,全部指到首页,省事。上线第二天百度索引从 8600 掉到 6100,站长后台提示软 404。 踩完这个坑才回头做分类。用 awk 按路径第一段聚合,9000 多条是 /tag/ 开头的空标签页,1500 条是老域名换绑前的文章地址,剩下的是被采集站伪造的参数页。三类处理方式完全不同,混在一起批量跳转只会把权重搅乱。...