筛选无结果页 2600 个返回 200:软 404 怎么批量判

陆零云 21 0
GSC 的软 404 报告里躺着 2,600 条,URL 都带 ?color=&size= 这类筛选参数,页面打开是「没有找到符合条件的商品」,HTTP 状态 200。这批 URL 每天吃掉 1,100 次抓取。 第一反应是加 meta robots noindex。两个月后它们确实从软 404 挪到了「已排除」,但索引里还在,抓取次数一次没少。noindex 只解决展示,不解决浪费。 换方案分两步。结果数为 0 时返回 404,页面上保留筛选导航...

站内搜索无结果返回 200:软 404 2600 条怎么清

陆零云 33 0
GSC 的软 404 报告里躺着 2,600 条,清一色是 /search?q= 开头的地址。点开看,页面写着没有找到相关内容,状态码 200,模板还带着完整的导航和页脚。 站内搜索是给用户用的,查询词组合无限,被蜘蛛撞上的概率不低。我第一反应是 robots 屏蔽 /search。改完一个月,那批 URL 从软 404 变成已被 robots.txt 屏蔽,索引里仍然留着,报告反而更难读。 第二轮加 noindex,follow,有结果的搜索页也一起加。...

404 页返回 200 被判软 404 状态码要怎么改回来

陆零云 27 0
GSC 的「软 404」报告里躺着 1,340 条,全是已下架的商品。点开任意一条,页面显示「商品不存在」,HTTP 状态却是 200。站内 6,800 条 URL,等于五分之一是空壳还留在索引里。 原因在框架的兜底逻辑:控制器查不到记录时不抛异常,直接 render 一个提示模板,状态码沿用默认的 200。Nginx 那边又写了 try_files 兜底到 index.php,任何不存在的路径都进得去,自己也没法靠文件是否存在判断。 第一版在 Nginx...

两万条 404 里混着软 404 怎么用状态码批量挑出来

陆零云 32 0
服务器日志里 404 一天 1.9 万条,看着吓人。抽样 500 条手工打开,其中 240 条返回的其实是 200,页面正常渲染,只是内容区写着「暂无相关内容」。这就是软 404,状态码把爬虫骗过去了。 硬 404 好办,grep 状态码就行。软 404 只能看内容特征:模板固定文案、正文字数少于 200、标题里带「未找到」或「暂无」。这三样在日志里都没痕迹,得从页面抓。 while read -r u; do code=$(curl -s -o /t...