跨机房专线合同写的是 100M,夜里跑备份,四十多 G 的数据跑了四个多小时,平均下来只有 2.6MB/s。同一时间 ping 对端 3ms 稳定,丢包 0,看着完全不像链路问题。
第一反应是 TCP 窗口。100M 带宽乘 3ms 的往返,BDP 不到 40KB,默认窗口足够,这条排除。用 iperf3 打了一条流,白天能到 92Mbps,线路本身没毛病,问题只在备份这条路径上。
换 scp 重测一样慢,加压缩参数更慢,CPU 先顶满了。开四个 rSYNc 并行,总吞吐涨到 5MB/s,还是不到标称的一半。到这一步基本能确定不是单流窗口,也不是磁盘。
真正的答案在运营商的设备上。让对端配合看了一眼,这条专线端口速率确实是 100M,但签约的 CIR 只有 30M,合同里写的是端口带宽,超出部分在网络侧直接被丢。晚上更低到 12M,是因为同一条专线上还跑着异地容灾复制。
先做的是把两条业务分开。备份窗口从两点挪到四点,出口做整形,限速 18M,令牌桶给小一点,避免突发整段被丢,剩下的余量留给容灾复制。
tc qdisc add dev eth0 root tbf rate 18mbit burst 32kb
tc -s qdisc show dev eth0
iperf3 -c 10.20.0.1 -P 8 -t 30
整形之后备份稳定在 2.2MB/s 到 2.4MB/s 之间,忽快忽慢没有了。八条并行流的总量压在 18M 以内,容灾复制那边不再被挤掉。
要真正提速只能改合同。把 CIR 从 30M 提到 60M,补的差价按年付算比多开一条 20M 便宜,流程走完花了九天。
扩容后重跑一次,单流 5.8MB/s,八个流合计 7.1MB/s,四十 G 的数据一个半小时跑完。这个数才是 60M 该有的样子,之前那四个多小时里,有大半时间在等丢包重传。
