已抓取未编入索引 3900 条:排队还是丢弃怎么分清

站点 1.2 万条 URL,GSC 的编入索引报告里「已抓取 - 尚未编入索引」从 600 条涨到 3,900 条,占了三成。这批 URL 最近一次抓取都在 48 小时内,蜘蛛确实进来过,页面却被留在队列外面。

第一反应是内容太薄,把前 200 条的 description 和首段都重写了一遍,加了两段实测数据。两周后回看,这 200 条状态一点没变,改动对队列位置没有影响。

后来才把两种情况拆开看。一种是排队,站点短期被抓太多,索引线程排不过来;另一种是丢掉,页面本身不值得收。区分的办法是对两个数:这些 URL 的抓取频次有没有继续涨,同目录下的老页面还有没有稳定展现。3,900 条里 2,700 条挤在三个新目录,抓取频次一周涨了 44%,属于排队;剩下 1,200 条是商品详情,抓取频次掉到 0,属于被丢掉。

排队那部分靠减量解决。标签聚合页和带排序参数的 URL 从 sitemap 里撤掉,列表页只保留前 10 页可翻,其余 noindex。抓取日志里日均请求从 4.1 万降到 2.6 万,落在详情页的比例从 34% 升到 61%。四周后那 2,700 条里有 1,900 条进了索引。

被丢掉的部分只能补内容。抽查 30 条,正文平均 260 字,参数表是一张图,FAQ 三问三答和同栏目另一篇一字不差。改成服务端输出参数表,加上每款的实测公差和交期,正文做到 700 字以上。这批只回来 340 条,剩下 860 条规格完全一样,canonical 合并到主型号,不再单独提交。

复查不看总数,看分层。每周导一次报告,按目录统计「已抓取未编入索引」条数和对应的抓取次数,两个数同时往下走才算收敛,只看其中一个会被总量掩盖。

import collections
c = collections.Counter()
for ln in open('access.log', encoding='utf-8', errors='ignore'):
    f = ln.split()
    if len(f) > 8 and f[8] == '200':
        c['/'.join(f[6].split('/')[:3])] += 1
for k, v in c.most_common(20):
    print(v, k)

您可以还会对下面的文章感兴趣: