普通收录 API 推 500 条全报 not_same_site | 校验怎么补

陆零云 33 0
写了个脚本往百度普通收录接口推 URL,500 条推完返回全是 not_same_site,一条没成功。文档里这个错误码的意思是 URL 不属于该站点。 先看站点绑定。站长平台里验证的是 https://www.a.com,脚本推的是 http://a.com,协议和 www 都不一致,接口按严格匹配判,直接拒。 改成和平台一致的域名再推,还是同样的报错。这时候才去核对验证方式,站点是用 CNAME 验的,而 CNAME 那条记录在三天前被清理过一次,平台...

robots.txt 全站抓取变 0:多写的那行 Disallow 怎么找

陆零云 35 0
10 月 27 日切换 CDN,第二天百度收录从 4200 掉到 380,GSC 的抓取统计里每天的抓取请求从 2.3 万次掉到 900 次。服务器没动过,唯一的变量是站点根目录多了一份新的 robots.txt。 打开文件,第二行是 Disallow: /。运维按上一个项目的模板粘过来的,本意是屏蔽 /admin/ 和 /search/,多出来的那一行把整站一起关了。文件只有六行,肉眼扫过去特别容易滑掉。 确认的方法不复杂。拿百度蜘蛛的 UA 直接拉一遍...

sitemapindex 索引文件返回 404 子 sitemap 路径怎么写才生效

陆零云 43 0
现象 文章超两万条后,把 sitemap 拆成索引加子文件:/sitemap.xml 输出 sitemapindex,列出 sitemap-post.xml 等子地址。提交到搜索资源平台一直提示 404 抓取失败;直接打开 /sitemap.xml 正常,点开子地址却是 404 页,日志里百度蜘蛛请求 sitemap-post.xml 也全是 404。 原因 常见三类。一是子 sitemap 实际路径和 loc 不一致,文件在子目录,loc 写成根目录,蜘...

robots.txt 的 Disallow: /*?* 误伤分页 Allow 规则怎么补回来

陆零云 39 0
现象 为了挡住站内搜索和筛选参数,robots.txt 里加了一条 Disallow: /*?*,几天后百度收录从 3200 掉到 900,抓取诊断里分页地址全部显示 blocked by robots.txt,列表第二页以后再也进不了索引,流量跟着下滑。 原因 /*?* 匹配任何带问号的 URL,分页、排序、筛选、追踪参数全被打中。robots 规则按最长匹配优先,同等长度时 Allow 优先,但这条规则没有配套的 Allow 兜底,分页链接就被整段封死...

百度索引量从 4000 掉到 0 索引覆盖为零怎么恢复

陆零云 44 0
现象 站点上线一年多,索引量稳定在 4000 左右。一次主题升级后两周内索引量清零,搜索资源平台显示「索引覆盖」为 0,全站 site 几乎查不到任何结果,但页面本身访问正常,速度也没有变慢。 原因 最常见的元凶是模板把 noindex 写死在了通用 head 里,改版时从演示模板带进来没删掉;其次是 robots.txt 整站禁止或响应头带了 X-Robots-Tag: noindex;也有站点因为大面积采集、违规内容被整站降权。三者都会让索引量归零,但...

robots.txt 返回 302 跳转到首页 收录量掉到 0 怎么修

陆零云 34 0
现象 站点从 Apache 迁到 Nginx 后,第二天百度收录从 4200 条掉到 0 条,搜索资源平台的抓取诊断提示 robots.txt 返回 302。用浏览器打开 /robots.txt,页面直接跳到了首页,响应头里的 Content-Type 是 text/html 而不是 text/plain。Google 那边同样报无法读取,但页面速度正常。 原因 Nginx 的伪静态把所有未命中文件的请求统一交给 PHP 入口,程序对不存在的路径做了 30...

网站换域名后 301 重定向不生效 旧域名收录怎么转移到新域名

陆零云 39 0
换域名后旧站收录还在,301 没配对 网站从 old.com 换到 new.com,Nginx 上加了跳转规则,旧域名能打开新站首页,但一周过去了百度里 old.com 的收录还在,new.com 几乎没收录。这种情况十有八九是 301 配错了:要么用了 302 临时跳转,要么只重定向了首页没带内页路径,蜘蛛抓内页时拿到的不是 301 状态码,权重自然转移不过去。 先确认是不是真的 301 用 curl -I http://old.com/some-pa...

百度收录量一周掉了一半 robots.txt 误写 Disallow 怎么排查恢复

陆零云 38 0
百度收录量一周掉了一半,先查 robots.txt 站点昨天百度收录量还有 1200 多条,今天一查只剩 500 出头,掉了将近 60%。第一反应是被算法惩罚了,但站长平台没有任何违规通知。用 site: 域名查首页还在,内页大面积消失。这种首页还在、内页全掉的情况,八成是爬虫抓取出了问题,最先要查的就是根目录下的 robots.txt。 robots.txt 误写 Disallow 导致整站不抓取 打开 robots.txt,发现里面多了一行 Disa...

robots.txt 写了 Disallow: /*?* 后百度收录从 3200 掉到 800,怎么放开规则并恢复抓取

陆零云 50 0
先确认是 robots.txt 挡住了 上线新站时顺手加了 Disallow: /*?*,本想把带参数的地址统一屏蔽,结果百度收录从 3200 条掉到 800 条。原因是列表页、筛选页、分页几乎全带问号,规则一挡蜘蛛连抓都不抓,已收录的地址在下次校验时被判成不可访问,慢慢被剔除。别急着改模板,先在浏览器直接打开站点根目录的 robots.txt 看当前规则,再用搜索资源平台的检测工具把具体 URL 粘进去,看返回的结论是允许还是拦截。 curl -I ht...

sitemap 提交了 1200 条 URL,百度只收录 80 条,重复页面怎么清理

陆零云 30 0
先分清“提交了”和“被索引” sitemap 只是告诉搜索引擎这些 URL 存在,真正决定索引量的是页面质量、重复度和抓取预算。后台显示提交 1200 条、site 查询只有 80 条,多数不是 sitemap 格式写错,而是里面混进了大量不该提交的地址:带参数的筛选页、分页复制页、已经 301 的旧域名、被 robots 或 noindex 挡住的页面。爬虫抓一次发现是重复内容,后面就会降低整个目录的抓取频次,越提交越不收录。 把 sitemap 和页...