robots.txt 挡住 /static 后 移动端渲染脚本全丢怎么发现

陆零云 30 0
移动端 URL 检查里,已渲染 HTML 的样式全丢,按钮挤成竖排。同一个页面在桌面版检查里正常。第一反应是 CDN 把 CSS 拦了,翻回源日志,CSS 请求根本没到源站。 再往前查一层,是 robots.txt。三个月前为了压抓取,运维在文件末尾加了一条 Disallow: /static/,理由是「静态资源不用抓」。这条规则对蜘蛛有效,对渲染队列也有效,渲染时拿不到 CSS 和 JS,页面按裸 HTML 打分。 受影响的不是一两个页。日志里 2,90...

robots.txt 的 Crawl-delay 10 百度为什么抓得越来越慢

陆零云 31 0
十月的抓取统计出来,Baiduspider 日均 2100 次,七月还是 8000 次。新发的 400 篇文章,收录只有 90 篇。服务器这边一切正常,nginx 平均响应 180 ms,5xx 占比 0.2%。 第一反应是站点变慢或者被限速。查了带宽、CPU、防火墙,没有异常。抓取日志里也没有 429 和 403,蜘蛛来的时候都给了 200。 后来在 robots.txt 里看到一行 Crawl-delay: 10,是三个月前运维加的,说怕蜘蛛压垮机器。...

robots.txt 全站抓取变 0:多写的那行 Disallow 怎么找

陆零云 35 0
10 月 27 日切换 CDN,第二天百度收录从 4200 掉到 380,GSC 的抓取统计里每天的抓取请求从 2.3 万次掉到 900 次。服务器没动过,唯一的变量是站点根目录多了一份新的 robots.txt。 打开文件,第二行是 Disallow: /。运维按上一个项目的模板粘过来的,本意是屏蔽 /admin/ 和 /search/,多出来的那一行把整站一起关了。文件只有六行,肉眼扫过去特别容易滑掉。 确认的方法不复杂。拿百度蜘蛛的 UA 直接拉一遍...

robots.txt 的 Disallow: /*?* 误伤分页 Allow 规则怎么补回来

陆零云 39 0
现象 为了挡住站内搜索和筛选参数,robots.txt 里加了一条 Disallow: /*?*,几天后百度收录从 3200 掉到 900,抓取诊断里分页地址全部显示 blocked by robots.txt,列表第二页以后再也进不了索引,流量跟着下滑。 原因 /*?* 匹配任何带问号的 URL,分页、排序、筛选、追踪参数全被打中。robots 规则按最长匹配优先,同等长度时 Allow 优先,但这条规则没有配套的 Allow 兜底,分页链接就被整段封死...

robots.txt 返回 302 跳转到首页 收录量掉到 0 怎么修

陆零云 34 0
现象 站点从 Apache 迁到 Nginx 后,第二天百度收录从 4200 条掉到 0 条,搜索资源平台的抓取诊断提示 robots.txt 返回 302。用浏览器打开 /robots.txt,页面直接跳到了首页,响应头里的 Content-Type 是 text/html 而不是 text/plain。Google 那边同样报无法读取,但页面速度正常。 原因 Nginx 的伪静态把所有未命中文件的请求统一交给 PHP 入口,程序对不存在的路径做了 30...

百度收录量一周掉了一半 robots.txt 误写 Disallow 怎么排查恢复

陆零云 38 0
百度收录量一周掉了一半,先查 robots.txt 站点昨天百度收录量还有 1200 多条,今天一查只剩 500 出头,掉了将近 60%。第一反应是被算法惩罚了,但站长平台没有任何违规通知。用 site: 域名查首页还在,内页大面积消失。这种首页还在、内页全掉的情况,八成是爬虫抓取出了问题,最先要查的就是根目录下的 robots.txt。 robots.txt 误写 Disallow 导致整站不抓取 打开 robots.txt,发现里面多了一行 Disa...

百度蜘蛛抓取频控提示 429 Rate Limit 怎么改 robots.txt 和限速规则才不影响正常收录

陆零云 41 0
现象:百度抓取诊断里全是 429,收录掉了 60% 上周看百度资源平台抓取诊断,突然出现一堆 429 Rate Limit Exceeded,之前每天抓几万个页面,这周降到 5000 都不到。查服务器日志,百度蜘蛛的 UA 被自己写的 nginx 限流规则挡了,robots.txt 里又加了个 Crawl-delay,双重夹击下收录直接腰斩。 第一步:去掉 robots.txt 里的 Crawl-delay 很多站长以为 Crawl-delay 是限百度...

robots.txt 写了 Disallow: /*?* 后百度收录从 3200 掉到 800,怎么放开规则并恢复抓取

陆零云 50 0
先确认是 robots.txt 挡住了 上线新站时顺手加了 Disallow: /*?*,本想把带参数的地址统一屏蔽,结果百度收录从 3200 条掉到 800 条。原因是列表页、筛选页、分页几乎全带问号,规则一挡蜘蛛连抓都不抓,已收录的地址在下次校验时被判成不可访问,慢慢被剔除。别急着改模板,先在浏览器直接打开站点根目录的 robots.txt 看当前规则,再用搜索资源平台的检测工具把具体 URL 粘进去,看返回的结论是允许还是拦截。 curl -I ht...

百度抓取诊断提示 robots.txt 返回 403 怎么解决

陆零云 66 0
现象:抓取诊断里 robots.txt 直接 403 在百度搜索资源平台做抓取诊断,提示 robots.txt 返回状态码 403,站点收录量随之下降。用浏览器打开同一个地址却能看到内容,甚至返回 200。 原因:人和蜘蛛看到的不一样 UA 黑名单。防护插件或 Nginx 把 Baiduspider 当成采集器拦掉,浏览器 UA 则放行。 WAF 或 CDN 规则。云 WAF 默认开启爬虫防护,高频抓取直接返回 403,还可能带人机校验。 文件权限或路...