现象
业务分布在两个地域,上海机房到广州机房 ping 平均 48.6ms,但抖动很大,好的时候 32ms,差的时候 90ms,晚高峰更明显。数据库主从复制延迟跟着一起跳,应用侧偶发超时。采购在问要不要上跨地域专线。
原因
公网路径不固定,中间要经过多个运营商互联点,晚高峰互联带宽拥塞就会绕路,延迟和丢包同时上升。物理距离带来的光速延迟约 15ms 无法消除,剩下的波动全部来自排队和绕行。专线提供固定路径与带宽保障,能把抖动压到几毫秒,但价格高,且带宽规格固定,临时扩容不灵活。
解决步骤
第一步,量化抖动而不是只看平均值。连续 ping 一百次看 mdev 与最大最小值,再用 mtr 看波动出现在哪一跳。
ping -c 100 1.2.3.4 | tail -3
mtr -r -c 100 -n 1.2.3.4
iperf3 -c 1.2.3.4 -t 30 -R
ss -ti | grep -E "retrans|rtt"
第二步,按业务分级。数据库复制、支付回调这类对抖动敏感且流量稳定的走专线;日志同步、备份、图片回源这类可容忍延迟的继续走公网,配合压缩和断点续传。
第三步,混合组网降成本。专线只买最低规格承载关键流量,其余走公网并加应用层重试与超时控制,同时在两端部署缓存,减少跨地域调用次数。
验证
专线上 mtr 的 mdev 控制在 3ms 以内,数据库复制延迟稳定在百毫秒级,公网侧业务超时率下降,整体成本低于全量专线。
小结
跨地域延迟要先分清固定延迟和排队抖动。用 ping 的 mdev 与 mtr 定位波动点,再按业务分级选择专线或公网,混合组网通常比全量专线更划算。
