先分清单流慢还是整条链路慢
100M 带宽的机器,用浏览器或者 wget 拉一个文件只有 2M/s,但开多个下载同时跑,总量能到 12M/s,这说明瓶颈不在带宽,而在单个 TCP 连接的吞吐。带宽再大,一条连接也只能发出去窗口允许的数据量,窗口大小和往返时延共同决定上限。先别急着换机房,按下面的顺序查一遍,多数情况在参数上就能解决。
curl -o /dev/null -w "%{speed_download}\n" https://example.com/100m.bin
iperf3 -c 目标IP -t 10
iperf3 -c 目标IP -t 10 -P 8
用 ss -i 看窗口和 RTT
ss -ti 输出里的 cwnd、rtt、bytes_retrans 是最直接的证据。若 rtt 稳定在 40ms 左右,而 cwnd 只有几十个 MSS,单流速度就会被压在几兆。按带宽时延积算,100Mbps 乘 40ms 需要约 500KB 的在途数据才能填满链路,窗口给不到这个数,速度自然上不去,跟带宽标称值没有关系。
ss -ti dst 目标IP
sysctl net.ipv4.tcp_rmem net.ipv4.tcp_wmem net.ipv4.tcp_window_scaling
缓冲区和窗口缩放要一起改
tcp_rmem 的三个值分别是默认值、自动调优下限和上限,上限太小,接收窗口永远长不大。tcp_window_scaling 必须为 1,否则窗口字段最大只能表示 65535 字节,长距离高带宽的链路直接被卡死。改完参数只对新连接生效,老连接需要断开重连才会用上新值。
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216
net.ipv4.tcp_window_scaling = 1
net.core.default_qdisc = fq
net.ipv4.tcp_congestion_control = bbr
换 BBR 之前先看丢包
BBR 不靠丢包判断拥塞,在 1% 以内丢包的长距离链路上比 cubic 稳定。内核 4.9 以上才自带,先用 sysctl 确认可用列表里有 bbr 再切。切换后重跑 iperf3 单流测试,如果速度没有变化,回头去看 bytes_retrans 和重传比例,丢包偏高说明问题在链路质量或中间设备限速,不在拥塞算法本身。
sysctl net.ipv4.tcp_available_congestion_control
sysctl -w net.ipv4.tcp_congestion_control=bbr
ss -ti dst 目标IP | grep -o "bytes_retrans:[0-9]*"
最后排除 MTU 与单流限速
参数都调过之后单流仍卡在固定值,比如一直稳定在 2M/s 不抖动,多半是中间设备做了单流限速,或者路径 MTU 不一致导致大包被丢、反复重传。用 ping -M do 逐级缩小包长测 MTU,用 mtr 看每一跳的丢包,两边都正常再考虑换线路。
ping -M do -s 1472 目标IP
mtr -rwzc 50 目标IP 