620 个孤岛页面只有 1 条入链 内链入口怎么补才不浪费

用爬虫把站内爬到第四层,统计每个页面的入链数,发现 620 个页面只有 1 条入链,其中 480 个是 2021 年前后的教程文章。这批页面在 GSC 里平均抓取频次 0.2 次一周,收录率 31%,而同目录有 5 条以上入链的页面收录率是 92%。

第一反应是在首页侧栏加「热门文章」,挂了 20 条,只覆盖到 20 个页面,而且侧栏全站出现,等于又造出一批重复锚文本。两周后孤岛数只从 620 降到 600。

换了做法,按主题聚成 8 个专题页,每个专题页列 40 到 80 篇的摘要和链接,专题页本身从导航一级入口挂出去。文章正文里挑相关段落手工加 2 到 3 条上下文内链,锚文本用目标页的核心词,不用「点击这里」这种。

面包屑也补了一层。原来只有首页和当前栏目,中间那层专题页缺失,导致专题页只能靠导航拿到一条入链。补上后面包屑三级,专题页的入链涨到 60 多条。

有几类页面没有再补链:纯图片说明页、已下架产品的评测、重复的年份归档。这三类 96 个页面直接 noindex,不往内链结构里塞,否则等于把抓取预算分给不值得收的页面。

八周后孤岛从 620 降到 90,剩下的是刚发布还没被链到的新文。抓取频次从 0.2 升到 0.9,收录率 68%。判断这轮改动是否成立,只看入链分布,不再有大批页面停在 1 条。

import glob, re, collections
pat = re.compile(r'href="(/p/\d+\.html)"')
n = collections.Counter()
for f in glob.glob('pages/*.html'):
    html = open(f, encoding='utf-8').read()
    for h in pat.findall(html):
        n[h] += 1
print([k for k, v in n.items() if v <= 1])

您可以还会对下面的文章感兴趣: