带宽跑满 940 Mbps CPU 却空闲 网卡队列怎么绑核

压测时碰到一个怪现象:iperf3 单线程跑到 940 Mbps 就打住,top 里 us 只有 8%,si 却有 35%,而且全压在 Cpu0 上。八核机器,七个核在闲着。

ethtool -l 看队列数,Combined 是 1。这块网卡支持 8 个队列,驱动默认只开了一个,收发全走一个硬中断,软中断也排在 cpu0。带宽看着是打满了,实际是单核在扛,再往上必然上不去。

把队列开出来:ethtool -L eth0 combined 8。再看 /proc/interrupts,eth0 相关的行从 1 行变成 8 行,分别落在不同 CPU 上。irqbalance 开着的话不用手动写 smp_affinity,如果关了就得自己绑,绑错了会出现两个队列抢一个核。

另一种情况是队列开了中断还是挤在一起。看 /proc/interrupts 每行最后一列,全是 CPU0 就说明没生效。这时候要么停掉 irqbalance 手动绑,要么开 RPS,把软中断分到别的核,路径是 /sys/class/net/eth0/queues/rx-0/rps_cpus。

# 队列 中断 软中断分核 三步
ethtool -l eth0 | grep -A2 Combined
ethtool -L eth0 combined 8
grep eth0 /proc/interrupts | awk '{print $NF}'
echo f0 > /sys/class/net/eth0/queues/rx-0/rps_cpus

改完单线程还是 940 Mbps,单条 TCP 连接受窗口和 RTT 限制,这是另一回事。开 8 个并发再压,总带宽到了 6.2 Gbps,si 分摊到 8 个核,每个 12% 左右。之前一直以为网卡到顶了,其实是队列没开。

顺手把 ring buffer 从 512 调到 4096,ethtool -G eth0 rx 4096 tx 4096,drop 计数不再增长。这个值不是越大越好,占内存,万兆网卡给 4096 够用。

您可以还会对下面的文章感兴趣: