jstack 两次 dump 200 个线程全 BLOCKED 锁顺序怎么看死锁

订单服务周三凌晨卡住,进程还在,端口也通,接口全部没有响应,健康检查连续 30 次超时。JDK 17.0.9,Spring Boot 2.7,日志停在一条 dao 调用上,没有异常。

先 jstack -l 抓了一份,顶部直接给出 Found one Java-level deadlock,两个线程互相等锁。第一次遇到时我只看了一处 BLOCKED 就以为找到原因,结果那个线程是在等数据库连接池,不是死锁点。后来养成习惯,隔 15 秒再抓一份,两份里堆栈完全一样的线程才是真卡死,只是慢的线程会换位置。

看锁顺序的方法是把 waiting to lock 和 locked 的地址对上。线程 A locked 0x00000000d6a1b2c8,接着 waiting to lock 0x00000000d6a1b300;线程 B 正好反过来,环就闭合了。锁对象是两把 ReentrantLock,业务里一个入口先按订单 id 加锁再扣库存,另一个先扣库存再按 id 加锁,并发一撞就成环。

jstack -l 18422 > /tmp/dump1.txt
sleep 15
jstack -l 18422 > /tmp/dump2.txt
grep -A 3 'Found one Java-level deadlock' /tmp/dump1.txt

改法有两种。简单的是统一加锁顺序,所有路径先订单后库存,按对象 id 排序也能解决。另一种是 tryLock(500, MILLISECONDS),拿不到就释放已持有的锁,回滚重试,牺牲一点吞吐换不死等。我们选后者,因为调用链跨了两个团队,短期统一顺序不现实。

改完观察一周,最长持锁 37 ms,没有超过 500 ms 的等待。监控里加了一条规则:线程数超过 200 且 BLOCKED 占比过阈值就自动 dump,省得下次还要人工登录去抓。

顺便说一句,kill -3 打出来的也是同样的线程栈,但它会打到服务自己的输出里,容器化以后经常被日志采集截断,还是 jstack 落文件靠谱。

您可以还会对下面的文章感兴趣: