抓取 12 万次只索引 1.6 万:三层目录怎么压平

陆零云 26 0
Search Console 的抓取统计里,30 天抓取 12.4 万次,已编入索引只有 1.6 万条。站点总共 2.1 万条 URL,等于每三条被抓的页面里只有一条进了索引。这个比例我盯了两周。 第一反应是内容不够,于是给 800 篇旧文各补了 300 字,又重推了一遍 sitemap。两周后抓取涨到 13.8 万次,索引只多了 400 条,补的字基本没起作用。 回头翻 Nginx 日志,按目录前缀聚合,问题很清楚:63% 的蜘蛛请求打在 /date/2...