月初收到 CDN 账单,回源流量从每天 3.2 TB 涨到 9.8 TB,边缘命中率还挂在 91%。缓存没坏,回源的东西多了三倍。
第一反应是有人刷接口。查了访问日志,请求量没涨,URL 分布和上月一致,返回体大小却从平均 38 KB 涨到 120 KB。
挑一个 JS 文件手动验。带 If-None-Match 回源,源站老老实实回 304,响应体 0 字节。经过 CDN 再取一次,同一个文件回了 200,Content-Length 是完整的 128 KB。
说明 304 在中间某一层被吃掉了。逐跳看响应头,边缘节点返回的 ETag 是 W/"6f3a-1a2",源站给的是 "6f3a-1a2",多了个 W/ 前缀。
根因在源站前面那台 WAF。它做内容改写,把强 ETag 换成弱 ETag,还重算了响应体。浏览器和 CDN 带着旧值回源,源站比对不上,只能全量返回。命中率统计的是边缘命中,回源体积不在这个口径里,监控一直好看。
中间绕过一次弯路。先把缓存键里的 Cookie 摘掉,命中率涨了两个点,回源流量没动,说明不是缓存穿透,是缓存到期后的重验证出了问题。
也试过把 s-maxage 从 600 拉到 3600。回源次数少了,流量还是九 TB 出头,因为每次取的都是全量,次数降了体积没降。
curl -sI https://s.a.com/app.js | grep -i etag
curl -sI -H 'If-None-Match: "6f3a"' https://s.a.com/app.js
nginx -T | grep -E 'etag|proxy_hide_header'
在 WAF 上按路径放行静态目录,不改写 ETag,也不重算响应体。改完再看,静态目录的 304 比例从 12% 回到 87%,回源带宽落到 3.4 TB。
顺手补了一个监控。每小时统计回源响应里 200 与 304 的比例,200 的占比超过 40% 就告警,比看总流量敏感得多。
