文件同步服务跨省跑,一个 2GB 的包传了六小时,速率卡在 8.2MB/s。同一条链路上个月的记录是 70MB/s,这十分钟里重传计数涨了 3000 多次,重传率 12%。
下意识觉得是丢包。mtr 打了一千个包,每一跳都是 0 丢,链路质量看着没问题。转到内核视角,ss -ti 看连接细节,retrans 在涨,sacked 一直是 0。
sacked 为 0 说明 SACK 根本没生效。SACK 是握手时协商的,抓包看两边 SYN 的 option,客户端带了 SACK permitted,服务端回的 SYN-ACK 里没有这一项。中间有台防火墙把 TCP option 剥掉了。
我先试了在本端关掉 SACK 再跑一次,想知道是不是协商本身有问题。结果更差,重传涨到 18%,速率掉到 4MB/s,丢包只能靠累积确认一个个补,这条路直接放弃。
真正要做的是让 option 过去。联系中间设备的管理方打开 TCP option 透传,等了两天。这期间把 MTU 从 1500 降到 1400 试过,重传降到 9%,有改善但远远不够。
设备改完重测同一份文件,sacked 开始正常增长,重传率 0.4%,速率 68MB/s。抓包再看握手,SYN-ACK 里 SACK permitted 回来了。
复核就盯三个计数,任何一项不对都先怀疑中间设备:
ss -tin dst 10.20.0.8 | grep -o 'retrans:[0-9/]*'
ss -tin dst 10.20.0.8 | grep -o 'sacked:[0-9]*'
sysctl net.ipv4.tcp_sack net.ipv4.tcp_dsack
tcpdump -c 20 -ni eth0 'tcp[tcpflags] & tcp-syn != 0' -vv
这类问题最容易走弯路的地方是只看丢包率。链路丢 0 不代表传输没问题,TCP 的能力被削掉了,表现和丢包一模一样。设备型号和变更窗口我记进了运维台账,下次重传找不到原因,先看 sacked。
