抓取统计 12 万次里 8 万次是 304 ETag 怎么配才不浪费

陆零云 27 0
GSC 的抓取统计里,一天 12 万次请求,返回 304 的是 0。也就是说蜘蛛每次来都完整下载一遍 HTML,平均 96KB,同一个页面一天被拉 3 到 5 次。 第一反应是抓得太频繁。在 robots.txt 里加 Crawl-delay 10,请求数掉到 8 万,304 还是 0,被访问的有效 URL 反而少了 4000 条。省下来的预算没花出去,等于白省。 查响应头。curl -I 打一个文章页,只有 Content-Type 和 Set-Cook...

标签页 860 个平均 2 条内容 该不该 noindex 怎么判

陆零云 25 0
站点 2,100 篇文章,自动生成了 860 个标签页,平均每个挂 2.1 篇。后台看收录 610 个,90 天带来的点击 47 次。抓取日志里,标签页吃掉 23% 的请求。 第一反应是全站 noindex。上线十天,标签页点击归零,可三个有排名的长尾词跟着掉了,其中「opcache 重启」那个标签页原本排在第 6,每月能带来 60 多次点击。 改成按内容量判断:挂 3 篇以上留,其余 noindex。执行后发现 noindex 不会立刻生效,得等蜘蛛重抓...

抓取 12 万次只索引 1.6 万:三层目录怎么压平

陆零云 25 0
Search Console 的抓取统计里,30 天抓取 12.4 万次,已编入索引只有 1.6 万条。站点总共 2.1 万条 URL,等于每三条被抓的页面里只有一条进了索引。这个比例我盯了两周。 第一反应是内容不够,于是给 800 篇旧文各补了 300 字,又重推了一遍 sitemap。两周后抓取涨到 13.8 万次,索引只多了 400 条,补的字基本没起作用。 回头翻 Nginx 日志,按目录前缀聚合,问题很清楚:63% 的蜘蛛请求打在 /date/2...

筛选参数生成 4300 条重复页 | 抓取预算怎么抢回来

陆零云 40 0
后台的抓取统计连续两周停在每天 1.8 万次,看着不少,按路径分组才发现,4,300 条 URL 是 color、size、sort 这类筛选组合,占了抓取量的 41%。真正带内容的详情页只分到 9,000 次。 第一反应是屏蔽。robots.txt 里加 Disallow 挡住问号路径,三天后抓取总量掉到 6,000,筛选页确实不来了,详情页也跟着少了一半。百度对整站的抓取频次按历史表现分配,砍掉一块,配额一起缩。 撤回规则,改成 canonical 指...

已抓取未编入索引 3900 条:排队还是丢弃怎么分清

陆零云 28 0
站点 1.2 万条 URL,GSC 的编入索引报告里「已抓取 - 尚未编入索引」从 600 条涨到 3,900 条,占了三成。这批 URL 最近一次抓取都在 48 小时内,蜘蛛确实进来过,页面却被留在队列外面。 第一反应是内容太薄,把前 200 条的 description 和首段都重写了一遍,加了两段实测数据。两周后回看,这 200 条状态一点没变,改动对队列位置没有影响。 后来才把两种情况拆开看。一种是排队,站点短期被抓太多,索引线程排不过来;另一种是...

sitemap 混进 620 条 noindex:GSC 为什么一直报已排除

陆零云 33 0
站点 4,800 条 URL 全量塞进 sitemap,三周后 GSC 的已编入索引停在 3,980,另外 620 条在覆盖率报告里显示「已提交的网址已标记为 noindex」。这 620 条是标签聚合页和站内搜索结果页,模板里一直在输出 noindex,提交脚本没做过滤。 第一版处理是拿 robots.txt 的 Disallow 把这些路径挡掉,以为不抓就不会进索引。四周后标签页的索引量从 620 涨到 730,GSC 里那批 URL 的状态变成「已发...

抓取 3000 次里 62.5% 落在 tag 页:预算怎么收回内页

陆零云 28 0
拉了一天百度蜘蛛的日志,总抓取 3000 次,其中 62.5% 落在 tag 页,内页只有 9%,首页和列表页占剩下的。 tag 页是标签组合自动生成的,一个标签一个 URL,还有标签加页码、标签加排序参数,站点一共 400 多篇内容,tag 页生出来 2.6 万个。蜘蛛进来就被这些低价值页吸住了。 第一反应是 robots 屏蔽 /tag/。试了两天,抓取量掉到 800 次,内页没涨,因为已经收录的 tag 页被屏蔽后变成死链,蜘蛛反复回来确认,预算没省...

带参数 URL 被收录 9800 条:规范化怎么设才收得住

陆零云 36 0
GSC 里带参数的 URL 被收录 9800 条,正常页面只有 1200 条。参数是筛选用的 ?color= 和 ?size=,再加 page=,组合几乎无穷。抓取统计每天 6 万次请求,八成打在参数页上。 翻模板看到 canonical 是这么写的:取 REQUEST_URI 原样输出。也就是说每个参数组合的 canonical 都指向自己,等于告诉 Google 这 9800 条都是独立页面,都该收。 $p = strtok($_SERVER["REQ...

新站 120 天零收录 抓取预算和外链怎么排顺序

陆零云 28 0
4 月 8 日上线的站,到 8 月 6 日整整 120 天,百度 site: 结果是 0,GSC 已编入索引 3 条,其中两条是 sitemap 自己。日志里 Baiduspider 来过 11 次,每次都只抓首页,抓完就走。 robots 没问题,sitemap 提交显示成功,620 条 URL 全是 200。这三项排除之后只剩两种解释:爬虫不知道有内页,或者知道了也不想来。 先看入口。首页列表是前端渲染的,服务端返回的 HTML 里只有 12 个 di...

服务器日志 8000 条里百度只抓首页 内页不抓怎么排查

陆零云 32 0
现象 从 Nginx 日志里筛出百度蜘蛛的记录,一天 8000 条请求里有 7000 多条打在首页和栏目页,真正抓取文章详情的不到 3%。新发布的文章一周内没有任何蜘蛛访问记录,而首页被抓取的频率高得离谱。把日志按小时排开,首页几乎每几分钟就有一条,内页的记录零星分布在凌晨。 原因 首页上放了几十条指向同一批链接的入口,蜘蛛每一轮都从这里重新爬,抓取预算被首页消耗殆尽。常见诱因有三类:自适应的广告位或 JS 弹窗生成了大量带参数的首页地址;sitemap...