TCP 乱序被判丢包 重传率 0.2% 反而更卡 | tcp_reordering 怎么调

跨机房备份每晚跑六个小时,35MB/s 就上不去了,同一条链路用 iperf 能到 90MB/s。ss -ti 看那条连接,retrans 只有 0.2%,重传率并不高,可应用日志里全是等数据的空白。

我第一反应是带宽被别的任务抢了。把夜间同步任务全停掉,只留这一个跑,速率一点没变。抓包就放在两端同时开,服务端这边看到的序号是连续的,客户端却在反复要求重发已经收到的那一段。

这类包有个特征,重传报文后面紧跟着原包的迟到副本。tshark 统计下来三十分钟里有 1200 多个,全是伪重传。真正的丢包一个没有,问题出在乱序。

内核默认 tcp_reordering 是 3,收到三个乱序段就认定前面丢了,直接触发快速重传。中间两台交换机做了双上行 ECMP,两条路时延差 1.8 毫秒,同一个流的包被劈成两路,序号自然乱。

先把 tcp_reordering 临时调到 10 试,伪重传少了一半,吞吐到 52MB/s。但这是拿延迟换的,真丢包时恢复会变慢,只能当止血。

ss -tin dst 10.30.0.12
tshark -r bak.pcap -Y 'tcp.analysis.spurious_retransmission' | wc -l
sysctl net.ipv4.tcp_reordering net.ipv4.tcp_max_reordering
sysctl -w net.ipv4.tcp_reordering=10

跟机房约了窗口,把备份流量的 ECMP 哈希从逐包改成逐流,两条上行也做了时延对齐。改完再跑,伪重传归零,retrans 还是 0.2%,速率稳定在 88MB/s,六小时的任务压到两小时二十。

之后把 tcp_reordering 留在 6 当兜底,没敢再往大调。判断伪重传有个笨办法,看重传包和原包的间隔,小于一个 RTT 的基本都是乱序,真丢包的重传不会来得这么快。

您可以还会对下面的文章感兴趣: