BBR 开了丢包 2% 反而更慢 单流 8.4 Mbps 卡在哪

跨境线路,晚高峰丢包 2% 上下,RTT 180ms。用 CUBIC 时单流能到 22Mbps,看完资料就切了 BBR,结果单流只剩 8.4Mbps,抖动还更大。同事说 BBR 在丢包环境下应该更强,这个结果明显不对。

先确认参数生效。sysctl 里 tcp_congestion_control 是 bbr,ss -ti 的输出里能看到 bbr 字样,pacing_rate 只有 12Mbps 左右,cwnd 卡在 340。拥塞控制确实换了,问题在别处。

算 BDP,22Mbps 乘 180ms 差不多 495KB。应用侧 setsockopt 把 SO_SNDBUF 写死成 256KB,tcp_wmem 默认值也偏小。发送缓冲不够,BBR 想加速也没有空间,pacing 自然上不去。

把 tcp_wmem 调到 4MB、tcp_rmem 调到 6MB,应用发送缓冲放到 1MB,单流到 31Mbps,但重传率涨到 5%,晚高峰还会掉到 12Mbps。

换方案时注意到 qdisc。机器上还是 pfifo_fast,BBR 依赖 fq 做 pacing,队列不对会让突发被丢。把 default_qdisc 改成 fq 重启网络,重传率回到 1% 以内,单流稳定在 68Mbps。

还有一处是应用写块太小。每次 write 只有 8KB,syscall 次数多,notsent 数据排不满。改成 64KB 一块,并发从 12 收到 3,CPU 也降了。

sysctl -w net.core.default_qdisc=fq
sysctl -w net.ipv4.tcp_congestion_control=bbr
ss -ti dst 198.51.100.7 | grep -E 'bbr|cwnd|retrans'
tc qdisc show dev eth0

最后查丢包本身。mtr 跑到第 7 跳开始稳定丢 1.8%,二十个包丢一个的规律太整齐,不像拥塞,让运营商查光路,是一段纤芯衰耗偏大。修完重传率 0.3%,单流 74Mbps。

确认要三项一起看:iperf3 三次取中位、ss -ti 的 pacing_rate 与 retrans、mtr 每一跳的丢包。只看第一项,很容易把缓冲问题当成线路问题。

您可以还会对下面的文章感兴趣: