上线后日志平台里全是零散的 at Com.xxx 行,一次空指针异常被拆成 4000 多条,按 traceId 聚合根本看不出调用栈。
Filebeat 默认逐行读取,一行一个事件。Java 的堆栈天然跨行,不配 multiline 就是现在这个样子。
第一反应是加 pattern。写成空白加 at 开头就并入上一条。配完重启,大部分堆栈合上了,异常首行还是孤立的。
因为首行是 java.lang.NullPointerException: null,下一行才是 at。pattern 只匹配 at,首行反而成了新事件的开始,后面的 at 全并到它下面,看着像对,实际把下一段日志也吞了进去。
改成负向匹配更稳。negate 设 true,pattern 用时间开头,含义是只要这行不是时间开头,就属于上一条。时间格式和应用的 logback 保持一致。
multiline:
pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
negate: true
match: after
max_lines: 500
timeout: 5s
max_lines 一定要设。有次一个死循环打了 12 万行堆栈,不设上限直接把内存吃满,采集器自己 OOM。
还有一个坑在容器环境。Filebeat 读的是 /var/lib/docker/containers 下的 json 文件,每行日志外面包了一层 JSON,pattern 要作用在 log 字段上,得先配 ndjson 解析,顺序反了永远匹配不到。
processors:
- ndjson:
target: ""
add_error_key: true
确认:手动抛一个带 30 层堆栈的异常,日志平台里应该是一条事件;再触发一个批量任务,看相邻两条日志有没有被误并;观察一天,事件数从 240 万降到 38 万。
采集端改完,应用的日志格式也别乱动。时间格式一改,pattern 就失效,这种耦合要写进两边的交接文档。
