日志切割那 2 秒丢了 1200 条 异步 appender 怎么配才不丢

日志平台统计,每天 0 点前后的两秒,日志少了 1200 行左右。业务没报错,但按 traceId 追链路时正好断在切割点。

logback 用的是 TimeBasedRollingPolicy 加 ASYNcAppender,queueSize 256,discardingThreshold 没写。查文档,这个值默认是 queueSize 的 20%,队列到 80% 满就开始丢 INFO 和 DEBUG,只保 WARN 以上。

0 点切割的瞬间,rename 和新建文件会短暂阻塞写线程,队列迅速堆满,接下来两秒的 INFO 全被扔掉。丢的是最普通的请求日志,所以没人发现。

先试把 queueSize 调到 8192。丢的少了但没归零,因为 discardingThreshold 还在,队列到 6553 条又开始丢。压测 3000 QPS,一秒就堆满。

把阈值显式设成 0,等于关掉主动丢弃:

<appender name="ASYNC"
    class="ch.qos.logback.classic.AsyncAppender">
  <queueSize>8192</queueSize>
  <discardingThreshold>0</discardingThreshold>
  <neverBlock>false</neverBlock>
  <appender-ref ref="FILE"/>
</appender>

关掉丢弃之后,队列满会阻塞业务线程,这是另一头的风险。8 千条按每条 400 字节算,堆满也就 3MB,正常写入速度下撑不到 100ms,可以接受。真怕阻塞就开 neverBlock,代价是队列满时直接丢,等于回到原点。

切割那一秒的卡顿也处理了。fileNamePattern 改成按小时切,0 点不再是唯一的切换点,压力分散到 24 次,单文件从 4GB 降到 170MB,重命名更快。

确认方式:连续跑 7 天,每天对比业务侧请求数和日志行数,差值从 1200 降到 0;再看 gc 日志,没有因为日志队列出现长时间停顿。

您可以还会对下面的文章感兴趣: