log4j2 日志开着 debug 一天写满磁盘 100%:怎么收口

早上 9 点接口开始 500,报错是 java.io.IOException: No space left on device。df -h 一看,根分区 100G 用了 100%。

du -sh /var/log 下面的目录排序,app.log 单个文件 38GB,加上滚动出来的 app.log.1 到 .6,日志目录 62GB。剩下的空间在临时文件和 docker 的 overlay 里。

logback 的 root level 写的是 DEBUG,是上周排查一个定时任务时改的,忘了改回来。DEBUG 下 MyBatis 把每条 SQL 和全部参数打出来,一个下单请求 40 多行,QPS 200 的时候一天 42GB。

第一反应是 rm app.log。删完 df 还是 100%,因为进程句柄还开着,空间没释放。lsof +L1 能看到 deleted 状态的 38GB 文件。

lsof +L1 | grep app.log
truncate -s 0 /var/log/app/app.log
df -h /

用 truncate 把文件清空,句柄不动,空间立刻回来,df 从 100% 掉到 34%。服务不用重启,写日志的 offset 也自动归零。

然后补滚动策略。之前 appender 只配了 fileNamePattern,没有 maxFileSize 和 maxHistory,等于无限写,滚出来的文件也从不删。

<rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
  <fileNamePattern>/var/log/app/app.%d{yyyy-MM-dd}.%i.log</fileNamePattern>
  <maxFileSize>200MB</maxFileSize>
  <maxHistory>7</maxHistory>
  <totalSizeCap>5GB</totalSizeCap>
</rollingPolicy>

200MB 一个文件,保留 7 天,总量封顶 5GB,超了删最旧。按现在的量一天 12 个文件,7 天正好压在 5GB 以内。

包级日志单独压。mapper 包设 INFO,第三方 SDK 设 WARN,root 保持 INFO。调问题时用 actuator 的 loggers 端点临时开 DEBUG,重启就恢复,不留痕。

确认:压测跑 1 小时,日志增长 240MB;df 每小时采样,24 小时曲线平稳。磁盘告警阈值设到 80%,这次是 100% 才发现,太晚。

您可以还会对下面的文章感兴趣: