抓取 3000 次里 62.5% 落在 tag 页:预算怎么收回内页 陆零云 2026-11-10 10:51:50 28 0 拉了一天百度蜘蛛的日志,总抓取 3000 次,其中 62.5% 落在 tag 页,内页只有 9%,首页和列表页占剩下的。 tag 页是标签组合自动生成的,一个标签一个 URL,还有标签加页码、标签加排序参数,站点一共 400 多篇内容,tag 页生出来 2.6 万个。蜘蛛进来就被这些低价值页吸住了。 第一反应是 robots 屏蔽 /tag/。试了两天,抓取量掉到 800 次,内页没涨,因为已经收录的 tag 页被屏蔽后变成死链,蜘蛛反复回来确认,预算没省...