带参数 URL 被收录 9800 条:规范化怎么设才收得住

GSC 里带参数的 URL 被收录 9800 条,正常页面只有 1200 条。参数是筛选用的 ?color= 和 ?size=,再加 page=,组合几乎无穷。抓取统计每天 6 万次请求,八成打在参数页上。

翻模板看到 canonical 是这么写的:取 REQUEST_URI 原样输出。也就是说每个参数组合的 canonical 都指向自己,等于告诉 Google 这 9800 条都是独立页面,都该收。

$p = strtok($_SERVER["REQUEST_URI"], "?");
$host = "https://ex.com";
echo '<link rel="canonical" href="' . $host . $p . '">';

这段是主因。canonical 自指在无参数页上是对的,在筛选页上就是灾难。判断标准就一条:这个 URL 有没有独立内容。颜色筛选出来的商品集合和第 1 页高度重叠,那就没有。

改法分三层。canonical 去掉全部查询参数,只保留排序这一个白名单参数;3 个以上参数的组合直接 301 到无参版;1 到 2 个参数的页面保留 200,但加 noindex,follow,让链接权重还能往下传。

robots 里没加 Disallow。这一步很多人会做,可屏蔽之后爬虫读不到 noindex,已收录的页面会一直挂着,权重也传不出去。

中间试过 GSC 的网址删除工具,一天 10 条,9800 条要删三年,这条路直接放弃。

还漏了一处:page=2 也被带进了 canonical 白名单。第 2 页有独立内容,自指是对的,第 20 页之后没有,所以 10 页往后统一指回第 1 页。这个规则按页码分段写,不是一刀切。

效果:10 月 12 日上线,10 月 20 日参数页从 9800 降到 3400,11 月 5 日剩 1400,抓取请求从 6 万降到 2.1 万。省下来的抓取量让 1200 个正文页的收录率从 78% 涨到 94%。

现在上线新筛选功能前会先问一句:这个参数会不会产生独立内容。答案是「不会」就直接走 301,不留 canonical 自指的余地。

您可以还会对下面的文章感兴趣: