一个对账服务跑在 JDK 17.0.9 上,堆上限 4G,启动后稳定在 800MB,跑 30 多个小时爬到 3.8G,Full GC 从 40 分钟一次变成 6 分钟一次,每次只能回收 200MB 左右。重启能撑两天,加 -Xmx6g 也只是拖到第三天。
第一次只抓了 Full GC 之后的 dump,看着对象不多,走了弯路。正确做法是分两次:启动稳定后一份,跑 20 小时再一份,都在 Full GC 之后抓,用 jcmd GC.heap_dump。别在高峰用 jmap -dump:live,会 STW 好几秒,线上接口直接超时。
jcmd 18422 GC.heap_dump /data/dump/before.hprof
sleep 3600
jcmd 18422 GC.heap_dump /data/dump/after.hprof
ls -lh /data/dump/*.hprof
MAT 打开两份,先看 Histogram 按 retained heap 排序,第一名 char[] 两小时涨了 1.1GB。再用 DomiNATor Tree 找到持有它的 HashMap,Path to GC Roots 排除弱引用,链路上是一个静态字段 tenantCache。代码里 put 之后只在一处极少走的路径上 remove,租户 id 每天新增几十个,键永远不淘汰。
中间试过把缓存换成 SoftReference,想借 GC 自动回收。结果 Full GC 前对象全在,Full GC 后几乎全没了,命中率掉到 12%,数据库 QPS 从 800 冲到 5200,当天就回滚。软引用不是这么用的。
最后换 Caffeine,maximumSize 20 万,expireAfterAccess 30 分钟。堆稳定在 1.6G,Full GC 恢复到 8 小时一次,P99 从 1.9 秒回到 120 ms。
对比快照有个细节:两份 dump 的类加载器 id 要能对上。热部署过的服务类会被重复加载,MAT 里同一个类出现两份,很容易看错持有链。
