订单服务一到晚上八点高峰就重启,kubeCtl get pod 显示 RESTARTS 7,describe 里 Last State: Terminated,Reason: OOMKilled,Exit Code: 137。容器 limit 是 512Mi,宿主机 64G,JVM 参数里一个 -Xmx 都没写。
镜像基于 openjdk:8-jre,版本 8u181。这个版本对 cgroup 的支持还不完整,默认最大堆按宿主机内存的四分之一算,也就是 16G,堆一路涨到 512M 的 limit 就被内核杀掉。JVM 自己不知道,日志里既没有 OutOfMemoryError 也没有 Full GC 记录,只有 kubelet 的 OOM 事件。
第一版改法是把 limit 提到 1Gi,撑了两天又 OOMKilled。加内存只是把死期往后推,堆里有个本地缓存 Map 没有上限,key 带着时间戳,永远不重复。
换到 8u292 之后有了容器感知,参数改成 MaxRAMPercentage=70、InitialRAMPercentage=40,Metaspace 限 128m,直接内存留 64m,512Mi 里给堆 360M 左右。堆外那部分不算在百分比里,留多少得自己算。
resources:
limits:
memory: 512Mi
requests:
memory: 384Mi
env:
- name: JAVA_OPTS
value: >-
-XX:MaxRAMPercentage=70
-XX:InitialRAMPercentage=40
-XX:MaxMetaspaceSize=128m
缓存那一侧给 key 加了 10 分钟过期,最大 20000 条。压测三十分钟,RSS 稳定在 470M 上下,不再贴着 limit 走。
验证别只看有没有重启。进容器执行 jcmd 1 GC.heap_info,看 used 和 committed 的差距;再看 cgroup 里 memory.usage_in_bytes 和 limit 的比值,长期超过 0.85 就说明余量不够,迟早还要出事。
