客户那边一条 100M 专线,单线程 scp 拉文件只有 1MB/s 左右,折成 8.2 Mbps。开十二个并发能跑到 92Mbps,说明管道本身没被限死。这条线 RTT 38ms,之前查过 CIR,合同写的 100M 没有错。
第一反应还是限速。查了交换机策略、云侧带宽包、镜像流控,都是放开的。用 iperf3 -P 8 复现,八条流各自 11Mbps,合起来够了,单流却始终上不去。到这一步可以确定,问题在单条 TCP 连接自己身上。
算一下 BDP。100Mbps 乘 38ms,需要大约 475KB 的在途数据才能填满管道。ss -ti 看这条连接,cwnd 停在 92 左右,按 1460 字节算 134KB。窗口上限如果是 65535 字节,理论吞吐只有 64KB 除以 38ms,约 13.4Mbps。实测 8.2,还受重传影响,量级对得上。
再看握手。tcpdump 里 SYN 的 options 只有 MSS、SACK、TS,没有 window scale 那一项。中间一台老防火墙把 wscale 选项吃掉了,双方都没协商,接收窗口被锁死在 64KB。改本机 tcp_rmem 到 6MB 完全没用,因为对端不知道窗口能放大。
先试了换出口路径,把流量切到不经过那台设备的另一条链路,单流立刻到 61Mbps,wscale 也变成 7,7。这一步验证了判断,也说明不用动内核参数。
正式处理是找网络组改那台设备的 TCP 选项策略,把 window scaling 放行。等待的两天里用多流兜底,应用侧开四条连接做分片下载,把 8.2 拉到 47Mbps 左右,能用但不优雅。
ss -ti dst 203.0.113.9 | grep -E 'wscale|cwnd|retrans'
tcpdump -i eth0 -c 3 'tcp[tcpflags] & tcp-syn != 0' -v
sysctl net.ipv4.tcp_rmem net.ipv4.tcp_wmem
设备策略改完,ss -ti 里出现 wscale:7,7,窗口能涨到 400KB 以上,单流稳定在 78 到 84Mbps。重传率 0.3%,没有再出现掉到 10Mbps 以下的情况。
确认方式不是看一次 iperf3,而是三个时间段各跑三次取中位数,同时用 tcpdump 数 SYN 里的 options。窗口这种事只看带宽数字,很容易误判成运营商限速。
