陆零云
29
0
用爬虫把站内爬到第四层,统计每个页面的入链数,发现 620 个页面只有 1 条入链,其中 480 个是 2021 年前后的教程文章。这批页面在 GSC 里平均抓取频次 0.2 次一周,收录率 31%,而同目录有 5 条以上入链的页面收录率是 92%。
第一反应是在首页侧栏加「热门文章」,挂了 20 条,只覆盖到 20 个页面,而且侧栏全站出现,等于又造出一批重复锚文本。两周后孤岛数只从 620 降到 600。
换了做法,按主题聚成 8 个专题页,每个专题页...
陆零云
23
0
1200 篇文章从首页要点四次才到:首页、技术中心、2025 年归档、文章。GSC 抓取统计里这批页面的平均抓取间隔 26 天,栏目首页是 1 天。抓取预算就那么多,深一层就少一轮。
先在 sitemap 里把这 1200 条全列出来,三周后抓取间隔只从 26 天降到 24 天。sitemap 能告诉爬虫有哪些 URL,但不改变页面在站内的位置,入口不变,它算出来的深度也不变。
动的是站内结构。栏目页顶部加「最新 30 篇」和「本月热门 10 篇」,全部直...