节点 kubelet 报 Evicted 磁盘只剩 200 MB 阈值怎么调

凌晨两点,三个副本里两个变成 Evicted。kubectl get pod 的 STATUS 是 Evicted,describe 里写着 The node was low on resource: ephemeral-storage,节点只剩 200MB 可用空间。

第一反应是日志写满了。df -h 看 /var/lib/docker 占 61G,/var/log 占 9G,根分区 100G 已经 98%。清理之后 Pod 恢复,第二天同样的时间又出现。

kubelet 默认的驱逐阈值是 imagefs.available 15%、nodefs.available 15%。这台机器根分区 100G,15% 就是 15G,可日志每天涨 6G,撑不到清理任务跑。

先怀疑镜像太多。crictl images 一列,悬空镜像 3.2G,prune 掉只缓了两天。真正占地方的是容器日志,json-file 没设上限,一个 Pod 一天写 1.8G。

改容器运行时。daemon.json 里加 log-opts,单文件 50MB,最多 3 个,全节点统一下发。

{
  "log-driver": "json-file",
  "log-opts": {"max-size": "50m", "max-file": "3"}
}

改完日志总量压到每个容器 150MB 以内。但驱逐还是卡在 15% 这条线上,业务突发时照样触发。

把阈值往下调。evictionHard 里 nodefs.available 设 8%,imagefs.available 设 10%,再加 evictionSoft,15% 时先软驱逐,给清理留缓冲。

apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
evictionHard:
  nodefs.available: "8%"
  imagefs.available: "10%"
evictionSoft:
  nodefs.available: "15%"
evictionSoftGracePeriod:
  nodefs.available: "1m30s"

这里有个坑。改 kubelet 配置要写进 /var/lib/kubelet/config.yaml 再 systemctl restart kubelet,直接改启动参数会被配置中心覆盖。重启后 kubectl describe node 的 Allocatable 不会变,要看 Conditions 里有没有 DiskPressure。

确认方式:造一个写满磁盘的测试 Pod,观察它先被软驱逐还是硬驱逐。再跑一周,Evicted 从每天 2 个降到 0,节点可用空间稳定在 11G 以上。

日志采集挪去了 sidecar,写本地只是过渡。磁盘这件事靠调阈值只能兜底,源头还是别让它长。

您可以还会对下面的文章感兴趣: