健康检查 100% 失败但服务正常 | 探针源 IP 怎么查

凌晨两点收到告警,负载均衡把八台后端全部摘除,业务整体 502 持续四分钟。登上去 Curl 本机 8080,返回 200,进程和端口都正常。

先看健康检查的失败原因,控制台只写连接超时,100% 失败。在机器上抓包,探针源地址是 100.64.3.21,目标 8080,SYN 进来了,SYN-ACK 也回了,之后探针又发一次 SYN,像是没收到回包。

查 iptables,INPUT 链只放行 10.0.0.0/8 和几个固定地址,100.64 这段不在白名单。回包被 OUTPUT 放行了,但探针侧连接建立不上,反复重试到超时。

这段 ACL 是半年前做内网加固时加的,当时只测了业务端口,没人想到健康检查走的是另一个网段。

临时用 iptables -I 插一条放行,三十秒后八台全部回到池里。为了确认不是别的原因,我又把规则删掉复现了一次,同样的时间点全摘,链路很清楚。

iptables -S INPUT | grep -c 100.64
iptables -I INPUT -s 100.64.0.0/10 -p tcp --dport 8080 -j ACCEPT
tcpdump -ni eth0 'tcp port 8080 and host 100.64.3.21' -c 20

顺手把探针参数也改了。原来是 2 秒间隔、1 秒超时、连续两次失败摘除,JVM 一次 Full GC 就够触发。改成 5 秒间隔、3 秒超时、连续三次失败才摘,半年没有再误摘。

这件事之后我把健康检查源段写进了防火墙模板,新机器初始化自动带上。看起来是网络问题,实际是一条 ACL 和一个过紧的超时叠在一起。

您可以还会对下面的文章感兴趣: