权威 DNS 四条 NS 坏一条:20% 解析失败该摘哪条

早上七点二十开始,客服群里陆续有人说网站打不开。解析监控上的失败率从 0.1% 涨到 21%,集中在华北三个省,同一时刻用手机 ping 域名,有时候出 IP 有时候直接报 unknown host。

第一反应是本地缓存,清了两个公共 DNS 的缓存没用。拿三个省的节点分别 dig 同一个域名,有的回 NOERROR,有的回 SERVFAIL,前后间隔不到一秒。递归服务器日志里反复刷 no servers Could be reached。

我以为是 TTL 太短导致反复回源,把 TTL 从 60 提到 600,盯了一小时曲线没动。又把递归侧的 timeout 从 5 秒压到 1 秒,失败率降到 8%,SERVFAIL 还在,说明问题不在等多久。

想起这个域名去年迁过机房,四条 NS 里可能有一台早就下线。写了个循环逐个去问:

for ns in $(dig +short NS a.com); do
  echo "== $ns"
  dig @$ns www.a.com +time=2 +tries=1 |
    grep -E 'status:|Query time'
done

前三条都在 30ms 内回 NOERROR,第四条每次都是 connection timed out。翻记录确认,那台是旧机房的机器,去年到期没续费,NS 记录一直挂在注册商那里没人动。

为什么失败率只有 21% 而不是更高。递归服务器挑 NS 有顺序也有随机,挑到坏的那台先耗两秒超时再换下一台,部分实现重试两轮就放弃,浏览器等不到应答就报错。剩下的用户只是运气好先挑到了好的。

摘记录本身不难,注册商后台删掉那条 NS 再补一条指向新机房。麻烦的是传播,父区那条 NS 的 TTL 是 172800,两天之内各地递归还会拿着旧列表继续问那台坏机器。

所以先让活着的三台顶住。权威侧先把 www 的应答收敛到三台,再把 A 记录 TTL 临时降到 300 让递归尽快换新值;解析监控加了一条探测,四条 NS 里任何一条不应答就告警。

第二天下午失败率掉到 0.2%,第三天回到 0.05%。复测是拿 dig +trace 看权威那一段还剩几条 NS,再从四个省的节点各打一百次。

这件事根子在 NS 列表没人维护。现在每周跑一次探测,四条全部要能应答才算正常,缺一条就当故障处理。

您可以还会对下面的文章感兴趣:

暂无相关文章