视频站晚上八点回源带宽冲到 2.1 Gbps,出口合同只有 500 Mbps,边缘节点开始限速,用户拖动进度条要转五秒。
先怀疑缓存过期。CDN 后台里 mp4 的缓存规则写着七天,命中率却只有 38%。日志里同一个 480 MB 的片子,一天被回源 6200 次,平均每次只取 1.3 MB。
这个比例就是线索。用户每拖一次进度条,播放器发一个 Range 头,边缘手里没有整片,只能带着 Range 回源要那一段。源站老老实实返回 206 和对应片段,边缘存不下这半片,下一次还得再回源。
第一反应是让 CDN 忽略 Range 做整片缓存。厂商说默认不回源整片,一个 480 MB 的对象占边缘空间,命中率低的时候纯亏。这条路走不通。
改从源站下手。nginx 开 slice 模块,把大文件按 1 MB 切片,Range 落到哪个 slice 就取哪一片,取回来是一片完整的 1 MB,边缘能缓存也能复用。配置大致这样:
location /video/ {
slice 1m;
proxy_cache video;
proxy_cache_key $uri$slice_range;
proxy_cache_valid 200 206 7d;
proxy_set_header Range $slice_range;
}
上线后回源次数没降多少,但每次回源都是完整切片,边缘能复用,命中率爬到 76%。真正让带宽下来的是第二步,把长视频转成 6 秒一片的 HLS,每片 4 MB 左右,各自独立缓存。
这一步动的是播放器,切 HLS 花了四天,老片用 ffmpeg 批量转,1200 个文件跑了两个晚上。切完命中率 93%,回源带宽掉到 180 Mbps。
Range 那套配置没撤,留着给直接下载的 mp4 兜底。看效果别只盯命中率,得看回源流量除以对象总大小这个比值,它才是放大倍数。我们从 49 倍降到了 1.1 倍。
