日志解析服务是 Go 1.22 写的,读 JSONL,一行一个事件。正常一行 2KB 上下,偶尔有一行 1.2MB,是内嵌了完整堆栈的错误事件。跑到第 30 万行进程直接退出,只留一行 bufio.SCanner: token too long。
第一反应是文件被截断,wc -c 看那行确实有 1.2MB,数据是完整的。回头看代码,用的就是默认 Scanner,单行上限 64KB,超了直接报错。Scan 返回 false,我那段循环把 false 当成读完了,后面 770 万行一条没处理,比报错本身更麻烦。
试 bufio.Reader 的 ReadString 按换行切,能读全,但每行都新分配一个字符串,原来 18 分钟的任务变成 55 分钟,GC 每秒跑十几次,内存峰值从 90MB 涨到 420MB。
换回 Scanner,加 Buffer:初始缓冲给 256KB,硬上限 4MB。Buffer 必须在第一次 Scan 之前调用,中途加不生效,这点文档里写得很小。上限设成 1MB 会继续报同一个错,因为那行确实有 1.2MB。
还有个更隐蔽的:Scan 返回 false 时不一定是读完,必须用 Err() 区分。现在循环结束后统一检查,出错就把文件名和行号写进日志,不再静默丢尾巴。1.2MB 的行也不该整行进内存,解析前先按字段切一刀,只留前 8KB。
确认口径:800 万行 17 分钟跑完,token too long 出现 0 次;抽 1000 行和原文件比对 md5 一致;内存峰值 180MB;人为把上限改回 64KB 能稳定复现同样的报错。
sc := bufio.NewScanner(f)
buf := make([]byte, 256*1024)
sc.Buffer(buf, 4*1024*1024)
for sc.Scan() {
parse(sc.Bytes())
}
if err := sc.Err(); err != nil {
log.Fatal(err)
} 