接口压到 800 并发时,日志里刷出 java.lang.OutOfMemoryError: unable to Create native thread: possibly out of memory or process/resource limits reached。JDK 17,容器 2 核 4G,堆才用了 1.2G,看起来离上限还远。
第一反应是堆外内存泄漏,把 -Xmx 从 2g 调到 1g,重启后十分钟又崩。jstack 也打不出来,报的是同一个错,说明进程已经创建不出新线程,问题根本不在 Java 堆里。
看 /proc 下 status 里的 Threads,数字是 1012,容器 pids 限制正好 1024,卡死在这里。每个线程栈默认 1MB 虚拟内存,1000 个就是 1G,但真正的天花板是 pids cgroup,不是物理内存。
代码里每来一个请求就 new Thread 起一个,用完不池化,这就是根因。改成固定 64 线程的池加有界队列,队列满直接拒绝,超时 3 秒,拒绝次数单独打点上报。
顺手把 pids 限制从 1024 提到 4096 做兜底,但这不是解法,线程数本来就该由线程池控制。JDK 17 没有虚拟线程,21 以后这层可以换掉,不过只有 IO 密集场景才有收益。
确认口径:压测 30 分钟,Threads 稳定在 90 上下不涨;拒绝计数每分钟不超过 5;jstack 数一遍线程名,池前缀的正好 64 个,其余是 GC 和 JIT 的固定线程。
// 别再每个请求 new Thread 起来
ExecutorService pool = Executors.newFixedThreadPool(64);
try {
pool.submit(() -> handle(req));
} catch (RejectedExecutionException e) {
rejectCounter.increment();
} 