客户在联通宽带下打开后台要 8 秒,电信只要 1.2 秒。机房是单线电信,这个问题从第一天就存在,只是之前用户都是电信,没人提。
找了个联通节点跑 mtr,第 1 跳小区网关,第 2 跳市网,第 3 跳就进了电信骨干,之后一路往南绕到广州才折回来。RTT 从 18ms 涨到 95ms,末段还有 4% 丢包。
第一反应是加 CDN。后台是动态接口,带登录态,缓存不了,CDN 只能救静态资源,主文档和接口照样慢,试了一天就放弃。
接着试双线。买了一条联通转售线路,用 DNS 按运营商分线路解析。问题来了,移动用户解析到哪个都不对,而且回程不对称,去程走联通,回来还是绕电信,TCP 握手多一个 RTT,首包反而更慢。
真正的解法是 BGP 多线,一个 IP 向多家运营商宣告,去程回程各走最优路径。搬过去之后不用再猜用户是哪家宽带,DNS 也只剩一条 A 记录。
mtr -r -c 100 -w 10.20.30.40
mtr -r -c 100 --tcp --port 443 www.a.com
traceroute -T -p 443 www.a.com
验收不能只在自己这边测。让联通和移动的朋友各跑一次 mtr,双向结果都贴出来。我第一次只看去程,以为通了,回程那一跳其实还在绕。
搬完联通 RTT 22ms,移动 28ms,丢包 0.1%,后台首屏 1.4 秒。多出来的带宽费一个月两百多,比丢客户划算。
换机房之前还确认了一件事,对方是单 AS 还是多 AS 宣告,前者某条链路断了照样绕远。合同里把这两句写进去,后面扯皮少很多。
