筛选参数生成 4300 条重复页 | 抓取预算怎么抢回来

陆零云 40 0
后台的抓取统计连续两周停在每天 1.8 万次,看着不少,按路径分组才发现,4,300 条 URL 是 color、size、sort 这类筛选组合,占了抓取量的 41%。真正带内容的详情页只分到 9,000 次。 第一反应是屏蔽。robots.txt 里加 Disallow 挡住问号路径,三天后抓取总量掉到 6,000,筛选页确实不来了,详情页也跟着少了一半。百度对整站的抓取频次按历史表现分配,砍掉一块,配额一起缩。 撤回规则,改成 canonical 指...