内网有两个采集网关,域名 collector.internal 解析到两台机器,为了分摊流量,我在容器的 /etc/resolv.conf 里加了一行 options rotate,nameserver 写了两个地址。上线后看流量,两台机器的比例是 100 比 0,第二台一周没收到过请求。
先在宿主机上验证,同样的 resolv.conf,用 dig 连续查二十次,两个地址交替出现,配置本身没问题。容器里用 nslookup 查同样的域名,二十次全部落在第一个地址上。差别只在运行环境。
翻了基础镜像,用的是 Alpine,解析走 musl libc。musl 的解析器只实现了 resolv.conf 的一小部分选项,rotate 不在支持列表里,读到也会忽略,永远按顺序取第一个能应答的服务器。宿主机是 glibc,所以表现完全不一样。这一点在 musl 的文档里写得很轻,不专门查很难注意到。
试过在应用启动时自己打乱 nameserver 顺序,改的是 /etc/resolv.conf,容器里这个文件是 bind mount,改完运行中的进程也不会重新读,白折腾。也试过在代码里对两台网关做应用层轮询,业务代码要感知网关地址,耦合太重,没采用。
第一个方案是换基础镜像,把 Alpine 换成 Debian slim,镜像从 58MB 涨到 120MB,rotate 立刻生效。另一个方案不动镜像,在容器里起一个 dnsmasq,监听 127.0.0.1,resolv.conf 只留这一个地址,dnsmasq 用 all-servers 模式同时问两台再取最快的应答。
cat /etc/resolv.conf
# nameserver 127.0.0.1
# options timeout:1 attempts:2
tcpdump -nn port 53 -c 200 | awk '{print $5}' | sort | uniq -c
采用第二个方案,因为镜像体积直接影响发布速度。验证方式是抓两百个查询包,按目标地址统计,两台的比例是 103 比 97;再把其中一台的 53 端口关掉,请求在两秒内全部切到另一台,业务侧没有报错。
这件事之后,凡是依赖 libc 行为的配置,我都会在容器里再验一遍,不再拿宿主机的测试结果当真。
