GSC 的软 404 报告里躺着 2,600 条,清一色是 /search?q= 开头的地址。点开看,页面写着没有找到相关内容,状态码 200,模板还带着完整的导航和页脚。
站内搜索是给用户用的,查询词组合无限,被蜘蛛撞上的概率不低。我第一反应是 robots 屏蔽 /search。改完一个月,那批 URL 从软 404 变成已被 robots.txt 屏蔽,索引里仍然留着,报告反而更难读。
第二轮加 noindex,follow,有结果的搜索页也一起加。两个月只掉了 400 条,因为新的查询词还在被外链和站内链接带进来。
换方案是让无结果页返回真 404:查询结果为空时 http_response_code(404),页面给三个推荐链接和搜索框,方便用户继续点。有结果的搜索页保持 200 加 noindex。同时把搜索结果页从相关阅读模块里摘掉,那里原来会把带 q 参数的地址写进正文。
改完抽查 40 条:无结果 404,有结果 200,正常文章 200,分类页 200。两周后软 404 从 2,600 降到 180,剩下的多是参数顺序不同造成的变体。
抓取次数降了 18%,但落到文章页的比例从 71% 升到 89%。省下来的请求不算多,报告干净了才是主要收益。
有结果的搜索页别急着 404,那类页面偶尔能带来长尾点击,保留 noindex 就够。只有空结果这一种才该给 404。
if (!$rows) {
http_response_code(404);
include 'tpl/search-empty.php';
exit;
}
curl -sI "https://idc.00645.com/search?q=zzz" | head -1 