11 月 2 日打开 Search Console 的网页索引报告,「已编入索引」从 12400 掉到 7300,七天少了 41%。同一个页面里「服务器错误 (5xx)」冒出 820 条,「软 404」1100 条,「已发现 - 尚未编入索引」多了 3000 条。
三类错误混在一起,盯着总数看不出东西。我的顺序是先看 5xx,它最可能是自己服务器的问题;再看软 404,它占抓取预算;最后才处理「已发现未编入索引」,那一类多半是被前两类连带出来的。
导出的 820 条示例 URL 里路径前缀高度集中,/tag/ 有 510 条,/page/ 有 240 条。手工点示例太慢,把 CSV 丢给脚本按前缀聚合,十分钟能省掉一下午。
awk '{print $7}' access.log | cut -d/ -f1-3 | sort | uniq -c | sort -rn | head -20
对照同一时段的 access.log,502 有 640 条,全挤在 10 月 29 日 20:00 到 21:00。PHP-FPM 的 max_children 设的是 10,晚高峰进程池打满,请求排队到超时,Nginx 判成 502。
把 max_children 调到 24,5xx 归零,但 GSC 里那 820 条不会自己消失。点过一次「验证修复」,二十天后仍然显示失败,因为验证看的是最近一次抓取的结果,不看历史记录。
软 404 那 1100 条更难缠。它们返回 200,标题写着「暂无相关内容」,全是标签下没有文章的空列表页。这种页在 GSC 里既算软 404 又占抓取额度。处理办法是空标签页 301 到标签索引页,不再返回 200。
剩下 3000 条「已发现未编入索引」,多数是上面两类页面带出来的分页。分类页第 3 页之后没有独立内容,canonical 指回第 1 页,同时从 sitemap 里移除,不给爬虫留第二次机会。
11 月 9 日再看抓取统计,5xx 从每天 900 次降到 12 次,软 404 剩 60 条,收录回到 11800。掉下来用了一周,回来用了十一天,两条曲线不对称。
这套流程现在写进周一早上跑的脚本:导出 CSV、按前缀聚合、单个前缀超过 50 条就发告警邮件。八百多条错误人是点不过来的,得让机器先分堆。
