陆零云
8
0
凌晨两点收到告警,负载均衡把八台后端全部摘除,业务整体 502 持续四分钟。登上去 curl 本机 8080,返回 200,进程和端口都正常。
先看健康检查的失败原因,控制台只写连接超时,100% 失败。在机器上抓包,探针源地址是 100.64.3.21,目标 8080,SYN 进来了,SYN-ACK 也回了,之后探针又发一次 SYN,像是没收到回包。
查 iptables,INPUT 链只放行 10.0.0.0/8 和几个固定地址,100.64 这段不在...
陆零云
28
0
接口 P99 从 180 ms 涨到 3.2 秒,成功率还有 99.2%,监控大盘是绿的,值班没人发现。是客服转来三条反馈说提交订单偶尔转很久,才去翻日志。
日志里 connect timeout 的目标地址集中在同一个 IP,一小时 1400 次,占全部失败的 87%。dig +short 拉出五个 A 记录,那个 IP 排在第三位,正是上周下线维护的机器,维护完忘了摘解析。
第一反应是在应用侧加重试。重试确实把成功率拉回 99.9%,可每次失败要先等...
陆零云
34
0
一台跑队列消费者的容器,每 30 秒重启一次,docker ps 的 STATUS 一直是 Up 30 seconds,RestartCount 涨到 300。
docker inspect 看 State.Health,最后 5 次全是 unhealthy,输出写着 OCI runtime exec failed: exec: "curl": executable file not found in $PATH。业务日志干干净净,进程也没退出。
镜像从...
陆零云
31
0
K8s 1.27 的集群,订单服务三个副本,某天下午全部重启了两次。kubectl get events 里一排 Unhealthy,Liveness probe failed: Get "http://10.244.1.31:8080/actuator/health": context deadline exceeded。三个副本同时被判死,重启期间 502 堆了四千多条。
探针当时是这么配的:initialDelaySeconds 10,periodS...