两万条 404 里混着软 404 怎么用状态码批量挑出来 陆零云 2026-11-09 20:23:23 32 0 服务器日志里 404 一天 1.9 万条,看着吓人。抽样 500 条手工打开,其中 240 条返回的其实是 200,页面正常渲染,只是内容区写着「暂无相关内容」。这就是软 404,状态码把爬虫骗过去了。 硬 404 好办,grep 状态码就行。软 404 只能看内容特征:模板固定文案、正文字数少于 200、标题里带「未找到」或「暂无」。这三样在日志里都没痕迹,得从页面抓。 while read -r u; do code=$(curl -s -o /t...