Docker 日志 json-file 一直涨 磁盘写满 100% 怎么限

周三上午监控告警,根分区使用率 100%,/var/lib/docker 占 38G。docker ps 还正常,但新容器起不来,报 no space left on device。

du -sh /var/lib/docker/containers/* 排下来,一个 Java 服务的 json 日志 12.4G,另两个各 6G 多。应用把 debug 级别开着,一天往 stdout 写 2G,docker 默认的 json-file 驱动不做任何轮转。

第一反应是直接清。truncate -s 0 那个 12G 的文件,ls 看是 0 了,df -h 一点没降。docker 还持有文件句柄,inode 没释放,空间要等容器重启才回来。这办法只能临时止血。

改 daemon.json,给 json-file 加 max-size 和 max-file。50m 乘 3,单容器最多 150M,超了自动轮转。改完 systemctl reload docker 不生效,必须 restart,而 restart 会带走所有容器,挑了凌晨两点做。

重启后老容器还是旧配置。docker inspect 看 LogPath,指向的还是没限制的那个文件,必须把容器重建一遍才吃到新参数。这一点最容易漏,很多人改完 daemon.json 就以为完事。

{
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "50m",
    "max-file": "3"
  }
}

应用侧同时把日志级别改回 info,访问日志不再打 stdout,改成挂载卷写文件,交给 logrotate 按天切。两边一起做,磁盘才真的降下来。

确认:df 从 100% 回到 42%;一周后 docker inspect 里每个容器的日志目录不超过 150M;再压测一天,写入 1.8G 也没触发告警。

现在把磁盘 85% 设为预警,容器日志单文件 80M 也报一次,两个阈值任意一个触发就查,不等写满。

您可以还会对下面的文章感兴趣: