GSC 的软 404 报告里躺着 2,600 条,URL 都带 ?color=&size= 这类筛选参数,页面打开是「没有找到符合条件的商品」,HTTP 状态 200。这批 URL 每天吃掉 1,100 次抓取。
第一反应是加 meta robots noindex。两个月后它们确实从软 404 挪到了「已排除」,但索引里还在,抓取次数一次没少。noindex 只解决展示,不解决浪费。
换方案分两步。结果数为 0 时返回 404,页面上保留筛选导航和推荐商品,不要让用户走进死胡同;同时对参数组合做白名单,只有存在库存的颜色和尺寸才生成可点链接,其余组合在模板层就不输出。
上线第一周软 404 从 2,600 降到 380,第三周降到 90。剩下的 90 条是 CDN 缓存了旧响应,刷新后归零。抓取预算里这批 URL 从每天 1,100 次降到 80 次,省下来的量转到详情页,详情页日均抓取涨了 34%。
确认不能只看报告数字。随机抽 50 条,用 curl 只看状态码:空结果必须 404,有结果必须 200,筛选页的 canonical 必须自指。三种情况各抽 15 条以上,混着抽容易自我说服。
还有个副作用要防:404 页面不能被前端路由接住。我们的列表页有 JS 分页,第一版改完,前端把 404 响应体渲染成了正常列表,用户看到空页面加导航,状态码却已经发出去了。后来在 fetch 里判断 res.status,404 直接跳静态提示页。
$total = $query->count();
if ($total === 0) {
http_response_code(404);
include 'tpl/empty.php';
exit;
} 