GSC 的「软 404」报告里躺着 1,340 条,全是已下架的商品。点开任意一条,页面显示「商品不存在」,HTTP 状态却是 200。站内 6,800 条 URL,等于五分之一是空壳还留在索引里。
原因在框架的兜底逻辑:控制器查不到记录时不抛异常,直接 render 一个提示模板,状态码沿用默认的 200。Nginx 那边又写了 try_files 兜底到 index.php,任何不存在的路径都进得去,自己也没法靠文件是否存在判断。
第一版在 Nginx 里加 if (!-e $request_filename) { return 404; },整站静态资源一起 404,首页都打不开,十分钟后回滚。伪静态站的路径本来就不对应真实文件,这条判断不成立。
改回应用层:查到空记录就 http_response_code(404),再输出提示模板,末尾 exit,防止框架后续把状态改回去。静态资源走 location ~* \.(js|css|jpg)$ 单独处理,SPA 的 history 路由只对 /app/ 前缀放行。
验证用 curl -I 逐类打:下架商品 404,正常商品 200,分类页 200,/app/ 下不存在的路由 404。上线两周后 GSC 软 404 从 1,340 降到 120,剩余的是分页越界。
分页越界单独处理:page 参数超过总页数时返回 404 并停止渲染空列表。两周后那 1,220 条从「软 404」迁到「未找到(404)」,索引里被剔除;最后 120 条是排序参数链接,补 self canonical 后不再单独出现。
每天的抓取次数没变,但落到有效页面的比例从 78% 升到 94%。这批空页从前每天吃掉 900 次抓取,现在省下来了。
location / {
try_files $uri $uri/ /index.php?$args;
}
// 控制器末尾
if (!$row) {
http_response_code(404);
include 'tpl/404.php';
exit;
} 