夜里八点十分,值班群里连弹两条告警,电信和联通两个 BGP 邻居先后 down,各断了四十七秒。出口监控从 680 Mbps 掉到 310 Mbps,回程全压到剩下那条移动线路,延迟从 12 毫秒抬到 63 毫秒。
第一反应是运营商割接。两家都打电话问过,答复当晚没有施工。翻路由器日志,邻居一天断了 63 次,间隔毫无规律,最短六分钟,最长四十分钟。
先怀疑光模块。换了一对 SFP,179 端口收光从 -9.8 dBm 回到 -3.1 dBm,断的次数掉到 21 次,没断根。物理层有问题,但不全是。
接着看 hold time。默认 180 秒,对端 keepalive 每 60 秒一次。抓包抓到一次 keepalive 晚了 140 秒才到,那段时间中间设备在跑批量备份,CPU 打到 95%,转发面排队。hold time 一到,会话重建,整张路由表跟着抖一遍。
试过把 hold time 加到 240 秒。断的频率低了,收敛却更慢,真故障时切换要等两三分钟,业务侧更难接受。
换成 BFD 加浮动静态路由。三个包 300 毫秒没有回应就判定邻居失效,BGP 不再等 hold time;BFD 起不来的时候,靠管理距离把流量交给备用静态路由。
show bgp summary
show bgp neighbors 203.0.113.1
bfd interval 100 min_rx 100 multiplier 3
ip route 0.0.0.0/0 203.0.113.1 10
ip route 0.0.0.0/0 203.0.113.5 200
上线第一晚就遇到一次真实中断,对端升级,切换用了 1.2 秒,用户侧没有感知。连盯七天,邻居只断了两次,都是对端主动维护。
复查时发现一个细节。BFD 的 echo 模式在部分老设备上不支持,必须用异步模式,两边 interval 要对齐,不然一边 100 毫秒一边 300 毫秒,检测时间按大的算。
之前一直盯着丢包率看,其实这条线丢包一直是 0,问题全在会话层的翻动。判断多线出口是否健康,邻居 uptime 和切换次数比带宽曲线更早暴露问题。
