后台的抓取统计连续两周停在每天 1.8 万次,看着不少,按路径分组才发现,4,300 条 URL 是 Color、size、sort 这类筛选组合,占了抓取量的 41%。真正带内容的详情页只分到 9,000 次。
第一反应是屏蔽。robots.txt 里加 Disallow 挡住问号路径,三天后抓取总量掉到 6,000,筛选页确实不来了,详情页也跟着少了一半。百度对整站的抓取频次按历史表现分配,砍掉一块,配额一起缩。
撤回规则,改成 canonical 指向无参地址。三个月过去,索引里的参数页从 2,900 降到 2,600,几乎没动。canonical 是提示,页面本身还能被抓,抓取预算照旧消耗。
真正有效的是让这些 URL 不存在。后端加一层:只保留 page 和 sort,其余参数一律 301 到去掉之后的地址;筛选不再拼 URL,改成点选后走 AJAX 局部刷新,地址栏不变。
$allow = ['page', 'sort'];
foreach ($_GET as $k => $v) {
if (!in_array($k, $allow, true)) {
$q = array_intersect_key($_GET,
array_flip($allow));
header('Location: /list/?' . http_build_query($q),
true, 301);
exit;
}
}
改完第一周抓取总量没变,第二周参数页占比开始往下走。四周后统计,参数页只占 6%,详情页从 9,000 涨到 1.5 万,索引从 5,100 涨到 6,300。
有个细节。sort 保留是因为它对应真实的排序页,但 price_asc 和 price_desc 要有各自的标题,否则又变成重复页。现在只留销量和价格两种排序,其余组合不给入口。
sitemap 也清了一遍。之前生成脚本把所有组合都写进去了,4,300 条里有 3,900 条在文件里。改成只输出无参详情页和栏目页,条数从 9,800 降到 5,900,提交后抓取成功率反而高了。
确认方式:抓取日志按参数个数分组,带两个以上参数的请求从 41% 降到 6%;重复标题报告从 2,900 条降到 180 条;再抽查 20 个组合,全部 301 到无参页,落地内容正确。
