视频站上线一个月,用户反馈拖动进度条要等两三秒。埋点统计拖动后的首帧时间,中位数 2.4 秒,从头播反而很快,首帧 0.6 秒。
第一反应是源站磁盘慢。拖动那几秒回源 QPS 从 200 涨到 1800,可源站 iostat 的 util 只有 35%,不是磁盘瓶颈。翻 CDN 日志,带 Range 头的请求全部 MISS,返回 206,缓存里一条都没留下。
原因清楚了。CDN 默认不缓存 206 分段响应,每次拖动都整段回源,源站要重新读文件、重新拼响应,单次 700ms 起。用户一拖就是连续几次,叠起来两三秒。
我先试了关掉 Range 透传,让 CDN 忽略 Range 直接回整个文件。拖动是快了,但一个 800MB 的文件整段回源,带宽费用和首帧都更难看,当天回滚。
换方案,把单个大文件切成 6 秒的 HLS 分片,每个分片是一个独立小文件,正常走缓存。拖动时只请求对应分片,命中率直接上来了。
顺手给源站的 mp4 加了 faststart,moov 挪到文件头,没切片的老视频也能快一点,首帧从 2.4 降到 1.6 秒。
curl -sI -r 0-1048575 cdn.a.com/v/1.mp4 | grep -iE 'x-cache|age'
ffmpeg -i in.mp4 -c copy -movflags +faststart out.mp4
awk '$9==206 {print $7}' access.log | sort | uniq -c | sort -rn | head
改完抽了 200 个视频复测,拖动首帧中位数 0.42 秒,回源带宽降了 63%。切片有转码成本,老片分批转,新上传的走自动切片,转码队列排在夜间,按 200 个一批跑。
顺便把切片的缓存 TTL 从 10 分钟提到 2 小时。文件名里带版本号,更新时换路径,不用刷缓存也不会吃到旧片。
