现象:中间某跳一片红,访问却时快时慢
用 mtr 跟踪到目标服务器,第三跳或第四跳的丢包率显示 30% 甚至 70%,后面的跳数反而正常。线上表现为接口偶尔超时、文件上传中断,但 ping 网关一切正常,客户一口咬定是机房网络问题。
原因:中间设备的丢包率不能直接读
- 很多路由器对 ICMP 限速,转发 TCP 完全正常,只是不给探测包回响应,这类丢包是假象;
- 真正的丢包要看最后一跳,末跳丢包率才代表到达目标的成功率;
- 去程和回程路径可能不一致,单向测量的结论不能代表双向质量;
- ICMP 与 TCP 的优先级不同,ICMP 被丢弃时 TCP 未必受影响。
解决步骤
第一步,用固定次数和宽包跑一遍,避免单次采样波动,同时把报告保存下来作为证据:
mtr -rwzc 100 目标IP
mtr -rwzc 100 --tcp --port 443 目标域名
第二步,只看末跳。如果末跳丢包接近 0,只有中间某跳高,基本可以判定是那台设备的 ICMP 限速,不影响业务,不用继续追。
第三步,用 TCP 侧证。ICMP 被限速时,用真实端口的连接成功率交叉验证,两者差异大就说明是探测方式的问题:
for i in $(seq 20); do
curl -o /dev/null -s -w "%{time_connect} %{http_code}
" \
https://你的域名/health
done
第四步,末跳也在丢才继续查。此时分别从机房另一台机器、另一个运营商线路复测,只有单条线路丢包,把两份 mtr 报告一起提交给运营商;所有线路都丢,先查本机网卡错误计数和交换机端口:
ip -s link show eth0
ethtool -S eth0 | grep -i -E "err|drop"
第五步,看丢包形态。持续均匀丢包多为链路拥塞或限速;周期性丢包要怀疑定时任务打满带宽;只在高峰期丢,则是上游拥塞。
提交工单时把三样东西一起给运营商:覆盖至少 100 个探测包的 mtr 报告、同一时间段从另外两条线路的对照报告、以及受影响时段的 TCP 连接失败率。只有中间跳的 ICMP 丢包、末跳和 TCP 都正常的报告,通常会被判定为设备限速而退回,来回一趟就是两三天。另外 IPv4 和 IPv6 的路径往往不同,双栈站点要两条都测,别只测一条就下结论。
小结
mtr 中间跳丢包大概率是假象,判定标准只有末跳丢包率和 TCP 连接成功率。两者都差才升级给运营商,只有 ICMP 差就不用改任何配置。
