周三上午 CDN 命中率从 92% 掉到 31%,回源 QPS 冲到 800,源站 PHP-FPM 打满,502 持续了 6 分钟。查缓存时间,前一天晚上批量刷新过一次,TTL 都设的 3600 秒,等于第二天同一分钟集体过期。
第一反应是扩源站,临时加了 2 台,回源还是 800,因为 CDN 回源连接没有上限,新机器一样被打满。
在控制台找限速。回源 QPS 限到 200 之后,边缘开始返回旧内容,命中率数字反而好看,但用户拿到的是过期页面。这个配置只能止血,不能长用。
换方案做三件事。TTL 加随机抖动,3600 秒基础上随机 0 到 300 秒,避免同批过期。源站开 stale-while-revalidate 和 stale-if-error,回源失败先给旧内容,后台只放一个请求去更新。回源并发用 limit_conn 限到 200,超出的直接读 stale。
proxy_cache_use_stale error timeout updating http_502;
proxy_cache_background_update on;
proxy_cache_lock on;
limit_conn perip 200;
# TTL 3600 秒加 0 到 300 秒随机抖动
改完回源峰值 180,502 归零,命中率稳定在 90% 以上。抖动上线第一周,回源曲线从一根尖刺变成缓坡,同分钟的过期量从 800 降到 60 左右。
这类问题看两个数就够:回源 QPS 的峰值和 5xx 的比例。峰值超过源站容量的 70% 就该加限速,5xx 一出现先查是不是缓存同时失效。别只看厂商报表里的命中率,那个数在回源限速后会虚高,要结合 Age 和 X-Cache 一起看。
