GSC 里带参数的 URL 被收录 9800 条,正常页面只有 1200 条。参数是筛选用的 ?color= 和 ?size=,再加 page=,组合几乎无穷。抓取统计每天 6 万次请求,八成打在参数页上。
翻模板看到 canonical 是这么写的:取 REQUEST_URI 原样输出。也就是说每个参数组合的 canonical 都指向自己,等于告诉 Google 这 9800 条都是独立页面,都该收。
$p = strtok($_SERVER["REQUEST_URI"], "?");
$host = "https://ex.com";
echo '<link rel="canonical" href="' . $host . $p . '">';
这段是主因。canonical 自指在无参数页上是对的,在筛选页上就是灾难。判断标准就一条:这个 URL 有没有独立内容。颜色筛选出来的商品集合和第 1 页高度重叠,那就没有。
改法分三层。canonical 去掉全部查询参数,只保留排序这一个白名单参数;3 个以上参数的组合直接 301 到无参版;1 到 2 个参数的页面保留 200,但加 noindex,follow,让链接权重还能往下传。
robots 里没加 Disallow。这一步很多人会做,可屏蔽之后爬虫读不到 noindex,已收录的页面会一直挂着,权重也传不出去。
中间试过 GSC 的网址删除工具,一天 10 条,9800 条要删三年,这条路直接放弃。
还漏了一处:page=2 也被带进了 canonical 白名单。第 2 页有独立内容,自指是对的,第 20 页之后没有,所以 10 页往后统一指回第 1 页。这个规则按页码分段写,不是一刀切。
效果:10 月 12 日上线,10 月 20 日参数页从 9800 降到 3400,11 月 5 日剩 1400,抓取请求从 6 万降到 2.1 万。省下来的抓取量让 1200 个正文页的收录率从 78% 涨到 94%。
现在上线新筛选功能前会先问一句:这个参数会不会产生独立内容。答案是「不会」就直接走 301,不留 canonical 自指的余地。
