把 nginx 的 server 段挪进 ConfigMap,改完 kubectl apply 返回 configured,进 Pod cat /etc/nginx/conf.d/default.conf,内容还是旧的。等了十分钟,重开 exec 会话也没变。
第一反应是 ConfigMap 没更新成功。kubectl get cm web-conf -o yaml 看,data 里已是新内容,resourceVersion 也涨了。apiserver 侧没问题,卡在 kubelet 同步这一步。
kubelet 对 ConfigMap 的同步靠 Watch 加 SYNcFrequency,默认一分钟,最多 60 秒出头就该换新。等了十分钟不变,说明这个挂载不参与同步。
看 describe pod 的 Mounts 那一段,挂载点是 /etc/nginx/conf.d/default.conf,后面跟着 subPath: default.conf。用 subPath 挂载时,kubelet 做的是单文件 bind mount,挂的是当时那个 inode;ConfigMap 更新只是换掉 ..data 软链的指向,容器里这个 inode 不会跟着换。
验证一下。进容器 ls -l /etc/nginx/conf.d,看到的是普通文件而不是指向 ..data 的软链;再 stat 这个文件,Modify 时间停在 Pod 创建那一刻。
换成去掉 subPath,把整个 ConfigMap 挂到目录上,key 名就是文件名。kubelet 会把内容写进新的 ..data 目录再原子切换软链,容器里就看到新的。
volumeMounts:
- name: conf
mountPath: /etc/nginx/conf.d
readOnly: true
volumes:
- name: conf
configMap:
name: web-conf
文件更新不等于生效,nginx 还要 reload。挂一个轻量 sidecar,用 inotifywait 盯 /etc/nginx/conf.d/..data 的改名事件,收到就执行 nginx -s reload。
另一条路是保留 subPath,靠 Pod 模板里的 checksum 注解触发滚动更新。代价是每次改配置重启全部副本,12 个 Pod 起一遍要两分半。
确认口径:改一个 add_header 的值,apply 后计时,68 秒时容器里的文件和 nginx -T 的输出都变了;连改三次,没有一次超过 90 秒。带 subPath 的旧写法等了半小时依旧是旧值。
