北京到上海的内网专线,日常 ping 26ms,某天开始变成 46ms,客户说备份任务超时。两端都是内网地址,中间走运营商。多出来的 20ms 很像绕了广州。
先做双向 traceroute,去和回要分开看,单向只能说明一半。
traceroute -n -T -p 22 -m 12 10.20.3.8
3 10.10.0.1 1.102 ms
4 221.179.9.41 18.440 ms
5 221.179.12.7 19.210 ms
7 10.20.0.1 44.980 ms
去程第 4 跳出现 221.179 的地址,落在广州,第 7 跳才回到上海,等于南下一趟再北上。回程正常。这说明只有一侧的出口路由变了。
找运营商要了路由明细,原因是这边新加的一条 /24 静态路由把上海段也匹配进去了,下一跳指到广州出口。删掉之后恢复 26ms。我不放心,又用 mtr 跑了 100 个包确认没有隐藏丢包。
排查里有两个坑。ICMP 的 TTL 超时响应走的是设备慢路径,和实际转发不一定一致,用 TCP SYN 探更接近业务,端口选业务实际用的那个。另一个是两端时钟不同步时,单向延迟没法直接算,得在两端同时抓包比对时间戳,再扣掉时钟偏移,我这边偏差大概 3ms。
顺带说下怎么证明是绕行而不是链路变差。两端各起一个 iperf3,客户端跑 -u -b 10M -t 30 看抖动,绕行的话抖动不大、延迟整体平移;链路拥塞则是抖动和丢包一起上来。这次测出来抖动 1.8ms,基本可以确定是路径变了。
机房侧还有一个可能是策略路由。源地址不同走的表不同,用 ip route get 10.20.3.8 from 10.10.5.6 能直接看到选了哪条路由和哪张表,比翻配置文件快。这次就是那张表里多了一条优先级更高的明细路由,和运营商那边改的静态路由叠在一起。
现在这条线加了监控,每 5 分钟 mtr 一次,记录路径跳数和每跳均值,跳数一变就告警。20ms 对备份不算什么,放到交易链路上就是事故。
