陆零云
33
0
写了个脚本往百度普通收录接口推 URL,500 条推完返回全是 not_same_site,一条没成功。文档里这个错误码的意思是 URL 不属于该站点。
先看站点绑定。站长平台里验证的是 https://www.a.com,脚本推的是 http://a.com,协议和 www 都不一致,接口按严格匹配判,直接拒。
改成和平台一致的域名再推,还是同样的报错。这时候才去核对验证方式,站点是用 CNAME 验的,而 CNAME 那条记录在三天前被清理过一次,平台...
陆零云
35
0
10 月 27 日切换 CDN,第二天百度收录从 4200 掉到 380,GSC 的抓取统计里每天的抓取请求从 2.3 万次掉到 900 次。服务器没动过,唯一的变量是站点根目录多了一份新的 robots.txt。
打开文件,第二行是 Disallow: /。运维按上一个项目的模板粘过来的,本意是屏蔽 /admin/ 和 /search/,多出来的那一行把整站一起关了。文件只有六行,肉眼扫过去特别容易滑掉。
确认的方法不复杂。拿百度蜘蛛的 UA 直接拉一遍...
陆零云
43
0
现象
文章超两万条后,把 sitemap 拆成索引加子文件:/sitemap.xml 输出 sitemapindex,列出 sitemap-post.xml 等子地址。提交到搜索资源平台一直提示 404 抓取失败;直接打开 /sitemap.xml 正常,点开子地址却是 404 页,日志里百度蜘蛛请求 sitemap-post.xml 也全是 404。
原因
常见三类。一是子 sitemap 实际路径和 loc 不一致,文件在子目录,loc 写成根目录,蜘...
陆零云
39
0
现象
为了挡住站内搜索和筛选参数,robots.txt 里加了一条 Disallow: /*?*,几天后百度收录从 3200 掉到 900,抓取诊断里分页地址全部显示 blocked by robots.txt,列表第二页以后再也进不了索引,流量跟着下滑。
原因
/*?* 匹配任何带问号的 URL,分页、排序、筛选、追踪参数全被打中。robots 规则按最长匹配优先,同等长度时 Allow 优先,但这条规则没有配套的 Allow 兜底,分页链接就被整段封死...
陆零云
44
0
现象
站点上线一年多,索引量稳定在 4000 左右。一次主题升级后两周内索引量清零,搜索资源平台显示「索引覆盖」为 0,全站 site 几乎查不到任何结果,但页面本身访问正常,速度也没有变慢。
原因
最常见的元凶是模板把 noindex 写死在了通用 head 里,改版时从演示模板带进来没删掉;其次是 robots.txt 整站禁止或响应头带了 X-Robots-Tag: noindex;也有站点因为大面积采集、违规内容被整站降权。三者都会让索引量归零,但...
陆零云
34
0
现象
站点从 Apache 迁到 Nginx 后,第二天百度收录从 4200 条掉到 0 条,搜索资源平台的抓取诊断提示 robots.txt 返回 302。用浏览器打开 /robots.txt,页面直接跳到了首页,响应头里的 Content-Type 是 text/html 而不是 text/plain。Google 那边同样报无法读取,但页面速度正常。
原因
Nginx 的伪静态把所有未命中文件的请求统一交给 PHP 入口,程序对不存在的路径做了 30...
陆零云
39
0
换域名后旧站收录还在,301 没配对
网站从 old.com 换到 new.com,Nginx 上加了跳转规则,旧域名能打开新站首页,但一周过去了百度里 old.com 的收录还在,new.com 几乎没收录。这种情况十有八九是 301 配错了:要么用了 302 临时跳转,要么只重定向了首页没带内页路径,蜘蛛抓内页时拿到的不是 301 状态码,权重自然转移不过去。
先确认是不是真的 301
用 curl -I http://old.com/some-pa...
陆零云
38
0
百度收录量一周掉了一半,先查 robots.txt
站点昨天百度收录量还有 1200 多条,今天一查只剩 500 出头,掉了将近 60%。第一反应是被算法惩罚了,但站长平台没有任何违规通知。用 site: 域名查首页还在,内页大面积消失。这种首页还在、内页全掉的情况,八成是爬虫抓取出了问题,最先要查的就是根目录下的 robots.txt。
robots.txt 误写 Disallow 导致整站不抓取
打开 robots.txt,发现里面多了一行 Disa...
陆零云
50
0
先确认是 robots.txt 挡住了
上线新站时顺手加了 Disallow: /*?*,本想把带参数的地址统一屏蔽,结果百度收录从 3200 条掉到 800 条。原因是列表页、筛选页、分页几乎全带问号,规则一挡蜘蛛连抓都不抓,已收录的地址在下次校验时被判成不可访问,慢慢被剔除。别急着改模板,先在浏览器直接打开站点根目录的 robots.txt 看当前规则,再用搜索资源平台的检测工具把具体 URL 粘进去,看返回的结论是允许还是拦截。
curl -I ht...
陆零云
30
0
先分清“提交了”和“被索引”
sitemap 只是告诉搜索引擎这些 URL 存在,真正决定索引量的是页面质量、重复度和抓取预算。后台显示提交 1200 条、site 查询只有 80 条,多数不是 sitemap 格式写错,而是里面混进了大量不该提交的地址:带参数的筛选页、分页复制页、已经 301 的旧域名、被 robots 或 noindex 挡住的页面。爬虫抓一次发现是重复内容,后面就会降低整个目录的抓取频次,越提交越不收录。
把 sitemap 和页...