CPU 180% 触发扩容又立刻缩回:HPA 冷却窗口怎么设

晚高峰八点,HPA 在五分钟里把副本从 2 个加到 12 个,又缩回 2 个,来回三次。kubectl get hpa 的 TARGETS 一行写着 180%/70%,同一分钟的 describe 里,Events 先是 SuccessfulRescale New size: 12,紧接着 New size: 2 reason: All metrics below target。

第一反应是目标值定低了。70% 对 Java 服务确实偏紧,改成 80% 重新观察,曲线一模一样,还是扩完就缩。

接着怀疑 metrics-server 采样太粗。它默认 15 秒采一次,我以为是瞬时尖刺造成的误判,给 behavior 加了 scaleDown 稳定窗口 300 秒。第一次改完没生效,YAML 缩进写错,stabilizationWindowSeconds 落到了 scaleUp 下面,describe 里那段 behavior 根本没出现。

缩进改对后抖动小了一点,Pod 数从 12 降到 8,两小时后仍然在 4 和 8 之间来回。翻 Events 发现每次缩容都发生在 Java 应用还没就绪的时候,Pod 起到 readinessProbe 通过要 45 秒,这段时间它不接流量,CPU 是 0,HPA 按平均值算自然认为利用率不足。

真正的根子在 request 上。单 Pod 的 CPU request 写的是 200m,实际跑起来稳定在 600m 左右,利用率天然就是 300%。一次 GC 就能把它推过阈值,扩容到 8 个分摊之后掉到 40%,又要缩。

behavior:
  scaleDown:
    stabilizationWindowSeconds: 300
    policies:
    - type: Pods
      value: 1
      periodSeconds: 60
  scaleUp:
    stabilizationWindowSeconds: 0

三处一起改:request 从 200m 提到 500m,让分母接近真实用量;scaleDown 每次最多减一个 Pod,一分钟一次;再加 startupProbe,failureThreshold 18,periodSeconds 5,给应用 90 秒启动期,这段时间不参与扩容计算。

确认看两个数:连续观察三个晚高峰,扩容次数从 9 次降到 2 次,Pod 数在 6 到 8 之间平移;再按时间排序看 Events,没有再出现一秒内两次 SuccessfulRescale 的记录。

还有个遗留,队列长度指标后来也接进来了,但只做扩容的辅助信号,不参与缩容判断。队列一空就缩,和 CPU 抖动是同一个毛病。

您可以还会对下面的文章感兴趣: