抓取 12 万次只索引 1.6 万:三层目录怎么压平

SearCh Console 的抓取统计里,30 天抓取 12.4 万次,已编入索引只有 1.6 万条。站点总共 2.1 万条 URL,等于每三条被抓的页面里只有一条进了索引。这个比例我盯了两周。

第一反应是内容不够,于是给 800 篇旧文各补了 300 字,又重推了一遍 sitemap。两周后抓取涨到 13.8 万次,索引只多了 400 条,补的字基本没起作用。

回头翻 Nginx 日志,按目录前缀聚合,问题很清楚:63% 的蜘蛛请求打在 /date/2024/05/ 这类归档页上,每个归档页只有十来个标题加摘要,蜘蛛抓完就往下一个月走,从不点进正文。归档页又挂在主导航和侧边栏,从首页两跳就能到。

我先在 robots.txt 里 Disallow: /date/。抓取量掉到 9.1 万次,可索引没涨,因为内链还挂在归档页上,蜘蛛顺着侧边栏又绕回去。封掉入口不等于把权重导给正文。

第二版动了三处:归档页全部加 noindex,follow,从导航撤掉;URL 从 /date/2024/05/slug.html 改成 /php/slug.html 的两层结构,老地址 301;每篇正文底部加 5 条同标签文章的内链,锚文本用标题。改完 URL 那周 301 日志有 1.9 万条,心跳了一下,好在没有循环。

六周后再看,抓取降到 11.8 万次,看着是退步,但内页占比从 37% 涨到 72%,索引从 1.6 万到 2.9 万,归档页收录从 4,300 掉到 90。抓取次数少了两万,落到正文上的多了五万次。

判断这类问题别看总量,看结构。抓取涨而索引不动,多半是预算被低价值页占了;抓取降而索引涨,才是把预算换了地方。

awk '{print $7}' access.log |
  cut -d/ -f2,3 |
  sort | uniq -c | sort -rn | head

您可以还会对下面的文章感兴趣: