双 10G 口做的 bond 上到核心,白天多流 iperf3 能跑到 18.4 Gbps,单流怎么都卡在 3.1 Gbps。备份窗口里这个数把同步时间拖到九小时,运维群里先怀疑是窗口太小。
我把 rmem_max 从 212992 调到 16MB,wmem 跟着放大,单流涨到 3.6 Gbps 就不动了。换 BBR,队列规则从 fq_codel 改成 fq,结果一样。丢包为零,重传也为零,问题不在拥塞控制。
看成员口的分布才对上号。bonding 的 SLAves 里两个口都是 up,但 ethtool -S 的 tx 计数一个涨了 3.1G,另一个几乎没动。单条 TCP 流只会落到一条成员链路上,这是哈希算出来的结果,跟总带宽没关系。
哈希策略先查。当时是 layer2 模式,只按源目 MAC 计算,我们和核心之间隔着堆叠,MAC 固定,同一个五元组的流永远落同一个口。改成 layer3+4,源目 IP 加端口一起参与,再测还是 3.1 Gbps。
原因是交换机那侧没跟着改。服务器改 xmit_hash_policy 只影响自己的发包选择,对端 LACP 的哈希由它自己算,两边不一致时单流依旧被钉死。这个点我在服务器上折腾了快两个小时,才想到去问网络同事。
对端也改成 layer3+4,同时确认两个成员口在同一个 LACP 组里,没有跑到两个堆叠单元。改完单流 8.6 Gbps,已经贴着 10G 口的线速上限,多流 18.6 Gbps。同步时间从九小时掉到两小时。
cat /proc/net/bonding/bond0 | grep -E 'MII|Speed'
ethtool -S bond0 | grep -E 'tx_|hash'
echo layer3+4 > /sys/class/net/bond0/bonding/xmit_hash_policy
ethtool -S ens1f0 | head -20
xmit_hash_policy 只在 mode 4 下起作用,mode 1 是主备,压根不分流。写完 sysfs 要 down 再 up 成员口,光改配置文件不生效,我第一遍就是改完没重启,测出来数字一模一样。
