陆零云
27
0
GSC 的抓取统计里,一天 12 万次请求,返回 304 的是 0。也就是说蜘蛛每次来都完整下载一遍 HTML,平均 96KB,同一个页面一天被拉 3 到 5 次。
第一反应是抓得太频繁。在 robots.txt 里加 Crawl-delay 10,请求数掉到 8 万,304 还是 0,被访问的有效 URL 反而少了 4000 条。省下来的预算没花出去,等于白省。
查响应头。curl -I 打一个文章页,只有 Content-Type 和 Set-Cook...
陆零云
25
0
站点 2,100 篇文章,自动生成了 860 个标签页,平均每个挂 2.1 篇。后台看收录 610 个,90 天带来的点击 47 次。抓取日志里,标签页吃掉 23% 的请求。
第一反应是全站 noindex。上线十天,标签页点击归零,可三个有排名的长尾词跟着掉了,其中「opcache 重启」那个标签页原本排在第 6,每月能带来 60 多次点击。
改成按内容量判断:挂 3 篇以上留,其余 noindex。执行后发现 noindex 不会立刻生效,得等蜘蛛重抓...
陆零云
25
0
Search Console 的抓取统计里,30 天抓取 12.4 万次,已编入索引只有 1.6 万条。站点总共 2.1 万条 URL,等于每三条被抓的页面里只有一条进了索引。这个比例我盯了两周。
第一反应是内容不够,于是给 800 篇旧文各补了 300 字,又重推了一遍 sitemap。两周后抓取涨到 13.8 万次,索引只多了 400 条,补的字基本没起作用。
回头翻 Nginx 日志,按目录前缀聚合,问题很清楚:63% 的蜘蛛请求打在 /date/2...
陆零云
40
0
后台的抓取统计连续两周停在每天 1.8 万次,看着不少,按路径分组才发现,4,300 条 URL 是 color、size、sort 这类筛选组合,占了抓取量的 41%。真正带内容的详情页只分到 9,000 次。
第一反应是屏蔽。robots.txt 里加 Disallow 挡住问号路径,三天后抓取总量掉到 6,000,筛选页确实不来了,详情页也跟着少了一半。百度对整站的抓取频次按历史表现分配,砍掉一块,配额一起缩。
撤回规则,改成 canonical 指...
陆零云
28
0
站点 1.2 万条 URL,GSC 的编入索引报告里「已抓取 - 尚未编入索引」从 600 条涨到 3,900 条,占了三成。这批 URL 最近一次抓取都在 48 小时内,蜘蛛确实进来过,页面却被留在队列外面。
第一反应是内容太薄,把前 200 条的 description 和首段都重写了一遍,加了两段实测数据。两周后回看,这 200 条状态一点没变,改动对队列位置没有影响。
后来才把两种情况拆开看。一种是排队,站点短期被抓太多,索引线程排不过来;另一种是...
陆零云
33
0
站点 4,800 条 URL 全量塞进 sitemap,三周后 GSC 的已编入索引停在 3,980,另外 620 条在覆盖率报告里显示「已提交的网址已标记为 noindex」。这 620 条是标签聚合页和站内搜索结果页,模板里一直在输出 noindex,提交脚本没做过滤。
第一版处理是拿 robots.txt 的 Disallow 把这些路径挡掉,以为不抓就不会进索引。四周后标签页的索引量从 620 涨到 730,GSC 里那批 URL 的状态变成「已发...
陆零云
28
0
拉了一天百度蜘蛛的日志,总抓取 3000 次,其中 62.5% 落在 tag 页,内页只有 9%,首页和列表页占剩下的。
tag 页是标签组合自动生成的,一个标签一个 URL,还有标签加页码、标签加排序参数,站点一共 400 多篇内容,tag 页生出来 2.6 万个。蜘蛛进来就被这些低价值页吸住了。
第一反应是 robots 屏蔽 /tag/。试了两天,抓取量掉到 800 次,内页没涨,因为已经收录的 tag 页被屏蔽后变成死链,蜘蛛反复回来确认,预算没省...
陆零云
36
0
GSC 里带参数的 URL 被收录 9800 条,正常页面只有 1200 条。参数是筛选用的 ?color= 和 ?size=,再加 page=,组合几乎无穷。抓取统计每天 6 万次请求,八成打在参数页上。
翻模板看到 canonical 是这么写的:取 REQUEST_URI 原样输出。也就是说每个参数组合的 canonical 都指向自己,等于告诉 Google 这 9800 条都是独立页面,都该收。
$p = strtok($_SERVER["REQ...
陆零云
28
0
4 月 8 日上线的站,到 8 月 6 日整整 120 天,百度 site: 结果是 0,GSC 已编入索引 3 条,其中两条是 sitemap 自己。日志里 Baiduspider 来过 11 次,每次都只抓首页,抓完就走。
robots 没问题,sitemap 提交显示成功,620 条 URL 全是 200。这三项排除之后只剩两种解释:爬虫不知道有内页,或者知道了也不想来。
先看入口。首页列表是前端渲染的,服务端返回的 HTML 里只有 12 个 di...
陆零云
32
0
现象
从 Nginx 日志里筛出百度蜘蛛的记录,一天 8000 条请求里有 7000 多条打在首页和栏目页,真正抓取文章详情的不到 3%。新发布的文章一周内没有任何蜘蛛访问记录,而首页被抓取的频率高得离谱。把日志按小时排开,首页几乎每几分钟就有一条,内页的记录零星分布在凌晨。
原因
首页上放了几十条指向同一批链接的入口,蜘蛛每一轮都从这里重新爬,抓取预算被首页消耗殆尽。常见诱因有三类:自适应的广告位或 JS 弹窗生成了大量带参数的首页地址;sitemap...