周三下午 Zabbix 弹了一条告警,eth0 的 rx errors 一小时涨了 3000 多。我第一反应是线路出了问题,打开站点却是 200,图片正常加载,客户一个电话都没有。这种计数器难看但业务无感的情况最容易被忽略,也最容易在真出事那天被翻旧账。
先跑 ethtool -S eth0,rx_missed_errors 和 rx_fifo_errors 都在涨,rx_no_buffer_count 也在动。三个计数器含义不同,missed 多半是 ring 满了驱动来不及取,fifo 是 FIFO 溢出,no_buffer 是分配不到 skb。这台机器 rx ring 只有 256,突发流量打进来确实接不住。
ethtool -S eth0 | grep -E 'rx_(missed|fifo|no_buffer)_errors'
ethtool -g eth0
cat /proc/net/softnet_stat | awk '{print $1, $2}'
试过 ethtool -G eth0 rx 4096,重启网卡跑了一晚,计数器还在涨,只是速度慢了一点。说明不是单纯 ring 深度的问题。接着看 /proc/interrupts,eth0 的 8 个队列中断全压在 CPU0 上,irqbalance 装了没起,RPS 也没配。单核软中断跑满,包在队列里排队,最后被丢掉。
这里有个判断标准:看 netstat -s 里 TCPRetransSegs 的比例。这台机器一天 400 多万个段,重传不到 0.02%,属于网卡层丢包、TCP 兜住了,业务自然没感觉。真要担心的是重传率超过 0.5% 还伴随 RTT 抖动,那就是另一回事。
处理动作分两步:ring 调到 4096,打开 RPS 把软中断散到 8 个核上,再挂一个 24 小时的 netstat -s 采样脚本,盯重传段数的增量。计数器归零不现实,能压到每小时几十个就算过关。
