现象
站点从 Apache 迁到 Nginx 后,第二天百度收录从 4200 条掉到 0 条,搜索资源平台的抓取诊断提示 robots.txt 返回 302。用浏览器打开 /robots.txt,页面直接跳到了首页,响应头里的 Content-Type 是 text/html 而不是 text/plain。Google 那边同样报无法读取,但页面速度正常。
原因
Nginx 的伪静态把所有未命中文件的请求统一交给 PHP 入口,程序对不存在的路径做了 302 到首页;前端路由用 try_files 回退到 index.html 也是同一个坑,只是返回 200,更难发现。蜘蛛收到 302 会跟随跳转,最终读到的是 HTML,规则解析失败后部分蜘蛛按全站禁止处理,收录自然归零。CDN 缓存了这条 302 时,源站改完也不会立刻生效。
解决步骤
第一步,用 curl 看真实状态码与内容类型。不要只看浏览器渲染结果,同时确认 CDN 是否缓存了跳转。
curl -sI https://www.example.com/robots.txt
curl -s https://www.example.com/robots.txt | head -5
nginx -T | grep -n "robots.txt"
第二步,用 location = 精确匹配,绕开伪静态。显式指定 text/plain,并把文件放在 root 指定的目录里,不做任何回退。
location = /robots.txt {
root /www/wwwroot/site;
default_type text/plain;
try_files /robots.txt =404;
}
第三步,改内容并刷新缓存。文件里的 Sitemap 行写成绝对地址,规则只保留必要项;然后在资源平台重新抓取一次,并在 CDN 上单独刷新 /robots.txt,避免旧缓存继续返回 302。
验证
curl -sI 返回 200,Content-Type 为 text/plain,抓取诊断显示抓取成功;三到七天内收录数量开始回升,抓取频次同步恢复。
小结
robots.txt 必须由静态文件直出。伪静态回退、SPA 重写、CDN 缓存都可能把它变成 HTML 或 302,先用 curl 看清状态码和类型,再定位到底该改哪一层配置。
