监控里一台接入交换机的光口 CRC 错误累计到 4800 个,增长很快,业务侧表现为偶发重传和 200ms 的尖刺。
第一反应是模块坏了,让机房换了一对。换完两小时,CRC 又涨了 300 多个,说明问题不在模块本身。
看光功率。接收 -12.4dBm,这台模块的接收灵敏度是 -14dBm,余量只有 1.6dB,属于擦边。正常链路应该留 3dB 以上。
顺着查尾纤。这根跳线是三个月前扩容时临时接的,端面没有清洁,用检测笔看有明显划痕和灰尘。清洁完重新插,接收功率回到 -8.2dBm。
ethtool -S eth2 | grep -E 'crc|error|drop'
ethtool --module-info eth2
ethtool eth2 | grep -iE 'speed|duplex|link'
CRC 计数器只增不减,要判断是不是还在发生,得隔十分钟采两次做差。第一次采样 4800,十分钟后 4802,涨速已经很慢;又观察一天,差值停在 2,说明链路干净了。
中间还查了速率和双工,都是 10G 全双工,没有半双工错配那种老问题。也看过交换机侧的 FCS 计数,和服务器侧对得上,不是单侧统计误差。
这类问题容易被当成软件问题查。我们之前在应用层找了两天,调了 TCP 参数、换了网卡驱动,一点用没有,因为丢包发生在物理层,协议栈只能被动重传。也查过交换机端口的光衰告警阈值,默认设得太宽松,-12dBm 这种情况根本不会触发。
现在把 CRC 增长做成告警,十分钟涨超过 10 个就派人去看端面,不等它演变成业务故障。
