抓取统计 12 万次里 8 万次是 304 ETag 怎么配才不浪费

陆零云 27 0
GSC 的抓取统计里,一天 12 万次请求,返回 304 的是 0。也就是说蜘蛛每次来都完整下载一遍 HTML,平均 96KB,同一个页面一天被拉 3 到 5 次。 第一反应是抓得太频繁。在 robots.txt 里加 Crawl-delay 10,请求数掉到 8 万,304 还是 0,被访问的有效 URL 反而少了 4000 条。省下来的预算没花出去,等于白省。 查响应头。curl -I 打一个文章页,只有 Content-Type 和 Set-Cook...

CDN 把 304 放大成 200 回源带宽涨 3 倍怎么拦

陆零云 30 0
月初收到 CDN 账单,回源流量从每天 3.2 TB 涨到 9.8 TB,边缘命中率还挂在 91%。缓存没坏,回源的东西多了三倍。 第一反应是有人刷接口。查了访问日志,请求量没涨,URL 分布和上月一致,返回体大小却从平均 38 KB 涨到 120 KB。 挑一个 JS 文件手动验。带 If-None-Match 回源,源站老老实实回 304,响应体 0 字节。经过 CDN 再取一次,同一个文件回了 200,Content-Length 是完整的 128...

Last-Modified 只到秒 文件改完浏览器仍用旧版 304 怎么补 ETag

陆零云 26 0
运营改了主题色的一个变量,用户刷新页面还是旧颜色。F12 看 style.css 返回 304,响应头里 Last-Modified 是 14:32:07,文件实际改动时间也是 14:32:07,同一秒。 静态文件由 nginx 直出,ETag 默认是开的,但这个站的 CSS 由 PHP 拼出来,走的另一条链路,只写了 Last-Modified,值取 date 到秒,精度不够区分同一秒内的两次改动。 第一反应是给所有资源加版本号参数。缓存问题没了,代价是...

静态资源 Cache-Control 写 no-cache 每次多花 180 毫秒怎么改

陆零云 30 0
发版之后前端反馈首屏比之前慢。抓了一次移动端的包,34 个静态请求里 28 个是 304,每个往返 180ms 左右,首屏整体多出将近一秒。 看响应头,Cache-Control 写的是 no-cache。很多人以为这是不缓存,其实是每次都拿缓存去源站验证,真正不存的是 no-store。这套配置是从一份安全加固模板抄来的,静态资源也一起套上了。 先试最简单的,把静态资源全改 max-age=31536000。二次访问确实不请求了,但发版当天出问题,CSS...

缓存头配错 用户看到三天前的页面:304 和 ETag 怎么配

陆零云 28 0
运营改了活动页文案,刷新还是旧的,清缓存才看到。查响应头,HTML 上挂着 Cache-Control: max-age=604800,浏览器七天不回源。 这套头是当年为了扛流量统一加的。静态资源带 hash 确实该长缓存,HTML 跟着一起就出事,CDN 那边也缓存了七天,回源都省了。 先确认范围。curl -I 看首页响应头,Age 显示三天前,说明命中的是 CDN 边缘节点,不是浏览器本地缓存。浏览器和 CDN 的解法完全不同,这一条先分清楚。 改法...