跨机房备份每晚跑六个小时,35MB/s 就上不去了,同一条链路用 iperf 能到 90MB/s。ss -ti 看那条连接,retrans 只有 0.2%,重传率并不高,可应用日志里全是等数据的空白。
我第一反应是带宽被别的任务抢了。把夜间同步任务全停掉,只留这一个跑,速率一点没变。抓包就放在两端同时开,服务端这边看到的序号是连续的,客户端却在反复要求重发已经收到的那一段。
这类包有个特征,重传报文后面紧跟着原包的迟到副本。tshark 统计下来三十分钟里有 1200 多个,全是伪重传。真正的丢包一个没有,问题出在乱序。
内核默认 tcp_reordering 是 3,收到三个乱序段就认定前面丢了,直接触发快速重传。中间两台交换机做了双上行 ECMP,两条路时延差 1.8 毫秒,同一个流的包被劈成两路,序号自然乱。
先把 tcp_reordering 临时调到 10 试,伪重传少了一半,吞吐到 52MB/s。但这是拿延迟换的,真丢包时恢复会变慢,只能当止血。
ss -tin dst 10.30.0.12
tshark -r bak.pcap -Y 'tcp.analysis.spurious_retransmission' | wc -l
sysctl net.ipv4.tcp_reordering net.ipv4.tcp_max_reordering
sysctl -w net.ipv4.tcp_reordering=10
跟机房约了窗口,把备份流量的 ECMP 哈希从逐包改成逐流,两条上行也做了时延对齐。改完再跑,伪重传归零,retrans 还是 0.2%,速率稳定在 88MB/s,六小时的任务压到两小时二十。
之后把 tcp_reordering 留在 6 当兜底,没敢再往大调。判断伪重传有个笨办法,看重传包和原包的间隔,小于一个 RTT 的基本都是乱序,真丢包的重传不会来得这么快。
