dig 偶发 SERVFAIL 重试才通:TTL 300 与多线路怎么配

上周三晚上十点开始,技术中心的站每隔十几分钟就有一批用户打不开。运维在服务器上 curl 首页,偶尔蹦出 Could not resolve host,隔两秒再敲一次又通了。第一反应是本地 DNS,换成 8.8.8.8 和 223.5.5.5 各试了十次,失败率差不多,问题不在我们这台机器。

dig 加 +short 连打二十次,有三次返回空。加 +trace 从根一路问到权威 NS,最后一段是 NOERROR 但没有 A 记录。挂 tcpdump 抓 53 端口,看到权威返回的 flags 是 0x8183,rcode 3,也就是 NXDOMAIN。域名明明存在,权威却说没有。

站点用的是智能 DNS,电信一条 A 记录指上海,联通一条指宿迁,两条记录 TTL 都写的 600。运营商递归 DNS 缓存了 NXDOMAIN 之后也会保留一段时间,负缓存的时长取 SOA 里的 minimum,我这边看到是 900。一次失败会被放大成十五分钟的持续失败,用户那边根本等不到自动恢复。

多线路还有个坑:两条线路的 NS 记录挂在同一组服务器上,权威侧对单 IP 的查询做了限速,超过 200 qps 直接回 NXDOMAIN。白天量小看不出来,晚上爬虫和预取一起来就撞上了。把 TTL 从 600 改成 120,两条线路拆到不同的 NS 集群,限速阈值放宽到 800 qps 之后,一整周只再出现过一次。

验证方式很土,写了个循环每十秒 dig 一次,跑了三天:

for i in $(seq 1 8640); do
  r=$(dig @223.5.5.5 tech.example.com +short +time=2)
  if [ -z "$r" ]; then
    echo "$(date +%T) empty" >> dns_fail.log
  fi
  sleep 10
done

日志里三次空返回集中在 22:10 前后,和用户投诉的时间对上。TTL 改小以后这个文件再没长过。顺带把 SOA 的 minimum 从 900 压到 60,代价是权威查询量涨了大概三成,机器扛得住。

您可以还会对下面的文章感兴趣: