香港节点回源到新加坡源站,晚高峰 TTFB 一路涨到 620 毫秒,超时告警每小时几十条。源站自己的日志显示处理只花 8 毫秒,时间都耗在路上。
先量清楚公网这条腿。从节点对源站 IP 跑 mtr,一百个包,平均 196 毫秒,抖动从 172 到 238,丢包 0.8%。丢包看着不高,但 TCP 只要丢一个包就要等重传,实际感知比数字差得多。
换成专线再跑一次,平均 41 毫秒,抖动 38 到 45,丢包 0。两条腿差了 155 毫秒,正好卡在海缆那一段,中间第七跳的延迟突增四十多毫秒,来回就是八十。
换之前试过调大接收窗口和开启 BBR,TTFB 只从 620 降到 580,丢包还在,用户侧的卡顿没变化。带宽也不是瓶颈,峰值只用了 180 Mbps,出口跑的千兆。
专线接上之后回源 TTFB 落到 190 毫秒,边缘缓存未命中时的首字时间从 1.4 秒压到 0.7 秒。代价是月费,100 Mbps 专线比公网流量贵出一个数量级,只能给核心静态资源用。
混合方案更划算。图片和视频走专线,接口回源保持公网,靠长连接和连接池顶住。两条路按路径分流,源站带宽上涨不到 15%。
测试口径也统一了。以前两边各用各的 curl,一个测首页一个测接口,数字没法比。现在固定打同一个 1KB 的静态文件,各跑一百次取 P50 和 P95,公网 P95 是 268 毫秒,专线 52 毫秒。
专线刚接通那两天还遇到一次回退。BGP 邻居断了四分钟,流量自动切回公网,回源超时又冒出来。把健康探测从 30 秒缩到 5 秒,切换窗口压到十秒以内,业务侧几乎无感。
mtr --report --report-cycles 100 -i 0.2 sg-origin.a.com
curl -o /dev/null -s -w 'dns %{time_namelookup} conn %{time_connect}
ttfb %{time_starttransfer}\n' https://origin.a.com/health
判断专线值不值,就看未命中流量的占比,超过三成再谈,否则先把缓存命中率做上去更省钱。
