sitemap 混进 620 条 noindex:GSC 为什么一直报已排除

站点 4,800 条 URL 全量塞进 sitemap,三周后 GSC 的已编入索引停在 3,980,另外 620 条在覆盖率报告里显示「已提交的网址已标记为 noindex」。这 620 条是标签聚合页和站内搜索结果页,模板里一直在输出 noindex,提交脚本没做过滤。

第一版处理是拿 robots.txt 的 Disallow 把这些路径挡掉,以为不抓就不会进索引。四周后标签页的索引量从 620 涨到 730,GSC 里那批 URL 的状态变成「已发现但未抓取」。Disallow 只拦抓取,抓不到就看不到 noindex 声明,两个指令叠在一起互相拆台。

做法改回两步:sitemap 生成时按状态字段过滤,页面上的 noindex 原样保留。抓取预算从标签页撤出来后,商品页日均抓取由 1.9 万涨到 2.6 万,索引覆盖两周内补了 410 条。

确认靠抽查。URL 检查里挑 20 条,看抓取一栏是不是「已抓取 - 已排除(noindex)」,再回 sitemap 文件确认这些地址已经消失。两边对得上才算清干净,只看一边容易漏掉 302 到 noindex 页的情况。

还有一类半吊子写法:页面返回 200,noindex 放在 X-Robots-Tag 响应头里。站内有 37 条 PDF 是这么配的,sitemap 里照样不该出现,第一次排查只扫了 meta 标签,全部漏检。

现在 sitemap 由发布队列生成,状态不是 published 的直接不进,生成脚本每天跑一次并写出条数日志。每月拿 GSC 的已发现网址数和 sitemap 行数对一次,差值超过 100 就回头查过滤条件。

grep -o '<loc>[^<]*' sitemap.xml \
  | sed 's/<loc>//' \
  | while read u; do
      curl -sI "$u" | grep -qi 'x-robots-tag:.*noindex' \
        && echo "$u"
    done

您可以还会对下面的文章感兴趣: