两万条 404 里混着软 404 怎么用状态码批量挑出来

服务器日志里 404 一天 1.9 万条,看着吓人。抽样 500 条手工打开,其中 240 条返回的其实是 200,页面正常渲染,只是内容区写着「暂无相关内容」。这就是软 404,状态码把爬虫骗过去了。

硬 404 好办,grep 状态码就行。软 404 只能看内容特征:模板固定文案、正文字数少于 200、标题里带「未找到」或「暂无」。这三样在日志里都没痕迹,得从页面抓。

while read -r u; do
  code=$(curl -s -o /tmp/p -w "%{http_code}" "$u")
  size=$(wc -c < /tmp/p)
  echo "$code $size $u"
done < urls.txt

两万条用 Curl 跑太慢,单线程要四个小时。改成两步:先在模板里给空结果页打一个响应头 X-Empty: 1,再在 Nginx 日志格式里加 $sent_http_x_empty,第二天直接 grep 日志,两分钟出结果。

硬 404 的处理成本低,一台机器一晚上能清完。软 404 要改模板,动的是渲染逻辑,得排期。两类混在同一个数字里,排期一定会做错,所以第一步必须先把它们拆开。

试过把所有 404 和空页 301 到首页,想一次性兜底。GSC 的软 404 从 9800 涨到 14000,因为所有错误页都变成「和首页内容相同」的软 404,比原来更糟,当天回滚。

现在的处理分三类:确实不存在的文章返回 410,比 404 更快被移出索引;参数错误和过期分页 301 到对应栏目页;重复内容页保留 200 但补 canonical。

处理完软 404 从 9800 条降到 300 条,每天抓取量从 1.1 万涨到 1.6 万。多出来的预算分到新文章上,新文章平均收录时间从 9 天缩到 3 天,这比收录总数更能说明抓取预算回来了。

那个 X-Empty 响应头现在留着,正常页不打,只给空结果页打。有人说多余,但下次换模板时,它是唯一能证明某类页面为空的证据。

您可以还会对下面的文章感兴趣: