机房一台接入交换机,端口 CRC 错误一天涨一万二千多个,业务侧表现为晚高峰丢包 0.4%,重传率 2.1%。换过一根网线,计数照涨。
这台交换机上还连着六个口,只有这一个口在涨,先排除上联和背板。端口错包计数里 crc_errors 和 align_errors 一起涨,基本能锁定物理层。
第一反应是光模块脏了,拔下来擦了金手指和端面,重新插上,第二天计数还是涨。ethtool 看协商速率 10G 全双工,没有降速。
把两端端口都查了一遍,对端交换机的 CRC 计数是 0,只有本端在涨。说明问题在接收方向,要么线,要么模块,要么对端发出来的信号本身有问题。
试过换端口,把线插到另一个口,计数跟着端口走,说明不是端口硬件坏。试过换模块,计数停了半天又出现,频率降了但没消失。
换线之前做了对照,把同一根线接到测试交换机上,计数同样增长,线的问题就坐实了,不用再怀疑模块。这一步比反复插拔省事得多。
最后把整条链路换掉,包括配线架上的跳线。原来那根跳线弯折半径太小,卡在理线架边缘,肉眼看不出来。换完 CRC 计数归零。
ethtool -S eth0 | grep -Ei "crc|error"
ethtool eth0 | grep -E "Speed|Duplex"
for i in 1 2 3; do ethtool -S eth0 | grep crc; sleep 60; done
验证是连续看三天 crc_errors,再对比业务侧的丢包率。巡检脚本现在每天采集一次,超过一百就告警,不用等业务先发现。
备件柜里那批跳线全部换成了带弯折保护的型号,理线架往外挪了两厘米,以后上架时不会再被挤成死角。
