robots.txt 挡住 /static 后 移动端渲染脚本全丢怎么发现

移动端 URL 检查里,已渲染 HTML 的样式全丢,按钮挤成竖排。同一个页面在桌面版检查里正常。第一反应是 CDN 把 CSS 拦了,翻回源日志,CSS 请求根本没到源站。

再往前查一层,是 robots.txt。三个月前为了压抓取,运维在文件末尾加了一条 Disallow: /static/,理由是「静态资源不用抓」。这条规则对蜘蛛有效,对渲染队列也有效,渲染时拿不到 CSS 和 JS,页面按裸 HTML 打分。

受影响的不是一两个页。日志里 2,900 次移动端渲染请求,CSS 返回 403 的占 71%,全站 6,400 个页面都在这条规则下。收录没掉,但移动体验分从 92 掉到 61,移动友好测试开始报「内容宽度超出屏幕」。

改法是把整目录挡换成精确路径。真正该挡的是导出接口 /static/export/ 和带签名的下载 /static/dl/,其余 CSS、JS、字体全部放开。改完在文件里留一行注释写明原因,防止下个人又把整目录挡掉。

确认分两步。先带蜘蛛 UA 拉一次 robots.txt 看规则,再用 URL 检查看重渲染后的 HTML 里有没有样式表链接。第二步更关键,允许抓不代表渲染队列一定拿到,中间还有 CDN 的 UA 规则。

顺带发现 CDN 配了一条「非浏览器 UA 直接 403」,渲染请求的 UA 是 Chrome 无头版,被当成爬虫挡了 3 天。这条规则删掉后,移动评分两周回到 89,超屏告警清零。

User-agent: *
Disallow: /static/export/
Disallow: /static/dl/
# 不要整目录挡掉 CSS 与 JS
Allow: /static/css/
Allow: /static/js/

您可以还会对下面的文章感兴趣: