机房给了一对 10G 上联,跑了两周发现一条长期 92.5%,另一条 7.5%。采购时说的是双线负载,实际等于单线在扛。
先确认物理层。两端 ethtool 都是 10000Mb/s 全双工,光功率正常,没有 CRC 增长。bond 没做,用的是三层 ECMP,四台交换机各两条等价路由。
ECMP 默认按五元组哈希,我们的流量结构很偏,前三个大客户占了七成带宽,每个客户只开两三条长连接。五元组固定,哈希结果就固定,永远落在同一条链路上。这不是配置错,是流量形态决定的结果。
统计一下连接分布就清楚了,几千条连接里,前 5 条吃掉了 80% 的字节数。
ip route show 10.20.0.0/16
ss -tn state established | awk '{print $5}' > conn.txt
sort conn.txt | uniq -c | sort -rn | head -5
ethtool -S eth1 | grep -E 'tx_packets|tx_bytes'
三条路可走。换 bond 做二层聚合,哈希粒度更细,但要求两端都改,机房排期两周;开逐包散列,乱序会把 TCP 性能打下来;最省事的是让大客户走多连接,客户端并发 4 条,哈希自然打散。
先上第三条,客户端改完当天,两条线的比例变成 57% 对 43%。剩下那点偏差是哈希本身的随机性,不用管。代价是同一份数据要传四遍,客户端得自己保证幂等,我们加了个文件哈希做校验,重复上传直接跳过。
顺手把 IPv6 的 ECMP 也核了一遍,它按流标签哈希,同一台机器出去的流量更集中,后面大客户切 v6 时得提前把多连接一起带过去。
监控加了按链路出带宽的曲线,两条差超过 30% 就告警,别等月底看账单才发现。
