商品列表支持 ?page= 翻页,总共 42 页。参数没有上限校验,page=999 照样返回 200,页面上写「暂无相关商品」,导航和筛选条完整输出。GSC 的已编入索引里躺着 3,800 条这种空页,大多是外部老链接和站内翻页脚本带进来的。
第一反应是 robots.txt 里加 Disallow: /*?page=,以为挡掉参数就干净了。上线三天,第 2 页往后的正常分页一起不抓,深层商品页收录掉了 12%,赶紧回滚。
换成在应用层判断。先算总页数,page 超过总页数就返回 404,输出统一的未找到模板,不再渲染空列表和导航;page=1 和带 page=1 的地址 301 到不带参数的规范地址,避免同一个列表两套 URL。
还有一个坑是排序参数。?page=5&sort=price 和 ?page=5 内容一样,只是顺序不同,之前各自算一页。把 sort 收进固定枚举,价格和销量两种,其余值 301 回默认排序,越界的 page 仍然 404。
上线两周,3,800 条里 3,600 条从「已编入索引」迁到「未找到」,剩下 200 条是确实存在但商品下架的页面,改成 410 后一周内也被剔除。抓取请求总量降了 19%,落到有效商品页的请求多了 2,100 次一天。
确认方式用 curl 打三类地址:page=999 应是 404,page=1 应是 301,page=42 应是 200,再拿 GSC 的抓取统计看 404 数量是否集中在这批参数上。
$page = max(1, (int)($_GET['page'] ?? 1));
if ($page > $totalPages) {
http_response_code(404);
include 'tpl/404.php';
exit;
}
if ($page === 1) {
header('Location: /list/', true, 301);
exit;
} 