磁盘只剩 200M 导致部署失败:日志和镜像怎么清

凌晨的部署任务失败,日志只有一行 Error: ENOSPC: no space left on device, write,前端构建写 dist 的时候挂的。df -h 看根分区 40G 用了 40G,Use% 顶到 100。

du -xh --max-depth=1 / 排出前三名:/var/lib/docker 占了 18G,/var/log 9.2G,/data 7G。nginx 的 access.log 单个文件 6.4G,logrotate 配置是有的,但 /etc/cron.daily/logrotate 没有执行位,从来没跑过。

删日志有个坑。直接 rm access.log,df 一点没降,因为 nginx 还握着那个文件描述符。lsof +L1 能看到 deleted 状态下还占 6.4G 的句柄。正确顺序是先 truncate -s 0,再 kill -USR1 让 nginx 重开文件,空间立刻回来。

Docker 那边 docker system df -v 显示镜像 12G、build cache 5.8G。docker image prune -a 会把没被容器引用的镜像全删,包括回滚要用的上一个 tag,我只留了两个版本。builder prune 清出 4.9G,比删镜像安全得多,构建慢一点但能重建。

du -xh --max-depth=1 / | sort -h | tail -5
lsof +L1 | head
truncate -s 0 /var/log/nginx/access.log
kill -USR1 $(cat /run/nginx.pid)
docker builder prune -f --filter until=168h
docker image prune -f

inode 也要看。有一次 df -h 显示只用了 40%,df -i 已经 100%,根因是 /var/spool/postfix/maildrop 攒了 30 万个小文件,cron 每分钟报错发邮件,收件人不存在。这种只能按目录 find 出来批量删,删大文件没用。

现在部署脚本第一步先查剩余空间,低于 5G 直接退出,报错里带上 df -h 的原始输出。日志轮转也补了 copytruncate 和 maxsize 200M,两天观察下来根分区稳定在 62%。

您可以还会对下面的文章感兴趣: