iperf3 单线程只有 200Mbps 怎么判断是窗口还是 CPU 瓶颈

现象

两台同城千兆内网机器,用 iperf3 打流,单线程只有 200Mbps,加 -P 8 立刻跑到 930Mbps。换了几台机器结果类似,网线、交换机端口都换过,链路本身没报错。业务方据此认为带宽缩水,要求机房给说法。

原因

带宽时延积决定单流上限。1Gbps 乘以 40ms 往返等于 5MB,而默认 tcp_rmem 和 tcp_wmem 的上限远小于这个值,单流被接收窗口卡死在 200Mbps 左右。第二个原因是单核软中断打满,top 里 ksoftirqd 占满一个核,包还没进协议栈就开始排队,多流能把中断分摊到不同队列,所以反而跑得满。

解决步骤

第一步,对比单流与多流,同时观察软中断。如果多流接近线速而单流很低,基本可以排除链路故障。

iperf3 -c 10.0.0.2 -t 30 -P 1
iperf3 -c 10.0.0.2 -t 30 -P 8
top -b -n 1 | grep ksoftirqd
sysctl net.ipv4.tcp_rmem net.ipv4.tcp_wmem

第二步,扩大窗口并换拥塞算法。把收发缓冲上限提到 16MB,开启 BBR,让窗口随带宽时延积自动调整,注意 BBR 需要 fq 队列配合。

第三步,处理中断分布。确认网卡多队列已开启,用 ethtool -l 查看队列数,再启动 irqbalance,把不同队列的中断分到不同核上,单核压力立刻下降。

验证

同样单流重测,速率提升到 700Mbps 以上,ksoftirqd 占用低于 30%,多流仍能跑满,说明瓶颈确实在窗口与中断,而非线路。

小结

单流不达标先别怀疑带宽,用单流多流对比就能分清是窗口问题还是 CPU 问题。调大缓冲、开 BBR、分摊中断,三步做完再看数字。

您可以还会对下面的文章感兴趣: