站点改版后 404 一天 8000 条 nginx 怎么兜底跳转

现象

站点从 artiCle.php?id=123 改成伪静态 /post/123.html,上线后日志里的 404 从每天 200 条涨到 8000 条,百度抓取失败率 60%,索引量一周掉了两成。搜索结果里还能点到老链接,落地就是 404 页面,用户直接退出。改版前没有整理 URL 映射表,测试也只覆盖了新地址。

原因

老规则没有做任何映射,蜘蛛和用户手里的旧地址全部失效;图片目录、栏目分页路径在改版时一起变了,却没有对应规则;Nginx 对不存在的请求直接返回 404,蜘蛛会反复抓同一批死链,把抓取预算消耗在无效地址上。更麻烦的是 404 页面本身返回 200 状态码,蜘蛛把死链当有效页面反复抓,问题被进一步放大。死链长期挂着,站点质量评分也会被拉低。

解决步骤

第一步,从日志里按路径聚合。找出量最大的旧规则,优先处理占比高的那几类。

awk '{print $7}' access.log | sort | uniq -c | sort -nr | head -20
awk '$9==404 {print $7}' access.log | wc -l

第二步,用 rewrite 做兜底。有对应内容的 301 到新地址,内容确实下线的返回 410,让蜘蛛尽快删除而不是反复重试。

location ~ ^/article[.]php$ {
    return 301 /post/$arg_id.html;
}
location ~ ^/upload/old/ {
    return 410;
}

第三步,清理并引导。把无法映射的死链用死链提交工具批量提交,sitemap 里同步剔除,同时在栏目页补上指向热门文章的链接,让蜘蛛有新的入口可走。最后把 404 页面改成带搜索框和热门推荐的友好页,把误入的用户留在站内。

验证

404 量降到每天 300 条以内,抓取失败率回落到 5% 以下,新地址开始正常出词。

小结

改版死链要按「能映射就 301、不能映射就 410」处理。先看日志排优先级,再用 rewrite 兜底,最后提交死链并补内链入口。

您可以还会对下面的文章感兴趣:

暂无相关文章