陆零云
24
0
JDK 17.0.9,下单接口用的是 ThreadPoolExecutor(8, 16, 60s, ArrayBlockingQueue(200), AbortPolicy)。大促当天 500 个任务并发提交,日志里刷 RejectedExecutionException,财务对账发现 37 笔订单没有落库,用户那边显示下单成功。
拒绝策略本身没选错,AbortPolicy 抛异常是正常设计,错在调用处 catch 住之后只打了一条 warn,任务就彻底没...
陆零云
34
0
一个对账服务跑在 JDK 17.0.9 上,堆上限 4G,启动后稳定在 800MB,跑 30 多个小时爬到 3.8G,Full GC 从 40 分钟一次变成 6 分钟一次,每次只能回收 200MB 左右。重启能撑两天,加 -Xmx6g 也只是拖到第三天。
第一次只抓了 Full GC 之后的 dump,看着对象不多,走了弯路。正确做法是分两次:启动稳定后一份,跑 20 小时再一份,都在 Full GC 之后抓,用 jcmd GC.heap_dump。别在高...
陆零云
31
0
订单服务周三凌晨卡住,进程还在,端口也通,接口全部没有响应,健康检查连续 30 次超时。JDK 17.0.9,Spring Boot 2.7,日志停在一条 dao 调用上,没有异常。
先 jstack -l 抓了一份,顶部直接给出 Found one Java-level deadlock,两个线程互相等锁。第一次遇到时我只看了一处 BLOCKED 就以为找到原因,结果那个线程是在等数据库连接池,不是死锁点。后来养成习惯,隔 15 秒再抓一份,两份里堆栈完...
陆零云
27
0
配置类用了懒汉单例,上线第二天日志里出现两行 init cost,两个对象的内存地址还不一样,说明构造函数跑了两次。JDK 1.8,压测时 100 个线程同时调 getInstance。
原来的写法是第一层判空,进 synchronized 块再判空,标准双重检查的样子,但成员变量没加 volatile。new 对象在字节码里分三步:分配内存、执行构造、把引用赋给字段。JIT 在单线程语义下允许后两步重排,线程 A 刚分配完还没构造,字段已经不为空,线程...
陆零云
32
0
订单服务跑六七天就报 java.lang.OutOfMemoryError: Metaspace,重启立刻恢复,一周后再来一次。启动参数里 -XX:MaxMetaspaceSize=512m,堆是 -Xmx2g,堆的 GC 日志很干净,老年代一直在 600 MB 上下。
先确认是元空间不是堆:jstat -gc 3000 5 看 MC 和 MU 两列,MC 一路涨到 512000 KB 顶住,MU 跟着涨,Full GC 之后也不回落。jcmd 1 VM....
陆零云
39
0
现象
Spring Boot 服务运行一天左右就抛 java.lang.OutOfMemoryError: Java heap space,进程还在但接口全部超时,重启后恢复正常。堆只设了 -Xmx2g,监控显示老年代一路涨到顶才崩,用 top 看内存却一直很高。
原因
堆内对象持续增长,垃圾回收不掉,最终申请不到新内存。常见来源是一次查几十万行数据、缓存没有上限、大文件整个读进内存,或 ThreadLocal 里的对象没有清理。也可能是堆本来设得太小,业...