同一个站,百度收录 3200 条,Google 是 0。GSC 的页面报告里这 3200 条全在「已发现 - 尚未编入索引」,一条都没进去。服务器在香港,第一个被怀疑的就是地区。
这个方向是错的。Google 不按服务器 IP 归属地决定收不收,香港、新加坡、美国的站被正常收录的太多了。我这边测下来,服务器地区最多影响速度和少量地域性查询,不会让整站归零。
hreflang 也排除了。整站只有 zh-CN 和 x-default 两条,x-default 指首页,返回 200。这一层真出问题,表现是收录了但展错地区,不是一条不收。
原因在 CDN。站点前面挂了 Cloudflare,开着 Under Attack 模式,对所有 UA 返回 503 加一段 JS 挑战页。用 Googlebot 的 UA 直接请求,拿到的是 503。
curl -s -o /dev/null -A 'Googlebot/2.1' -w '%{http_code}'
curl -s -A 'Googlebot/2.1' https://ex.com/ | head -c 120
百度为什么正常?因为百度的抓取 IP 段当时在 Cloudflare 的白名单里,Google 的不在。这个差异让我多花两天,一直往内容方向找。
改法不是加 UA 白名单。UA 可以伪造,Cloudflare 自己也不建议这么干。正确做法是关掉 Under Attack,或者把 Google 公布的抓取 IP 段加进 WAF 放行规则,再去源站日志里确认这些 IP 真的进来了。
顺便把 GSC 的「网址检查」跑了一遍,实时测试拿到的 HTML 只有 1.2 KB,内容是「请稍候,正在验证浏览器」。这条和 curl 的结果对上,才敢确定是拦截不是渲染。
改完第三天,GSC 抓取统计从每天 0 涨到 2600 次,第 9 天收录 1200 条,第 21 天 2900 条。
一个判断:百度正常、Google 是 0,这个组合大概率不是内容也不是地区,是 Google 拿不到 200。先 curl 一次,比翻十篇文档快。
