DNS 轮询里留了个死 IP:20% 请求超时怎么摘掉

接口 P99 从 180 ms 涨到 3.2 秒,成功率还有 99.2%,监控大盘是绿的,值班没人发现。是客服转来三条反馈说提交订单偶尔转很久,才去翻日志。

日志里 connect timeout 的目标地址集中在同一个 IP,一小时 1400 次,占全部失败的 87%。dig +short 拉出五个 A 记录,那个 IP 排在第三位,正是上周下线维护的机器,维护完忘了摘解析。

第一反应是在应用侧加重试。重试确实把成功率拉回 99.9%,可每次失败要先等 3 秒 connect timeout,用户感知就是转圈。这条路只是把错误藏起来。

根因是 DNS 轮询没有健康检查,客户端拿到五个地址按顺序试,坏的那个照样分走五分之一流量。临时处理是把这条 A 记录删掉,TTL 从 600 压到 60,等各级递归缓存过期。

十分钟后抽查八个省的递归,还有三个省返回旧集合。这些是运营商的缓存,只能等,第二天早上才全清干净。

长期方案是把域名挂到带健康检查的解析服务上,探测间隔 10 秒,连续三次失败摘除,恢复两次再加回。权重也不再均分,新机器先给 10% 观察一天。

验证用一段循环,把每个解析结果单独打一次握手耗时,哪个地址慢一眼就能看出来:

H=https://api.a.com/health
for i in $(dig +short api.a.com A); do
  r="api.a.com:443:$i"
  printf '%s ' "$i"
  curl -so /dev/null -w "%{time_connect} " "$H" --resolve "$r"
done
echo

修完 P99 回到 210 ms。这件事之后我把逐个解析结果探测加进了每日巡检,比看整体成功率有用,均值会把一个坏 IP 稀释得看不见。

您可以还会对下面的文章感兴趣: