服务上线第三天,监控里 goroutine 数从 40 涨到 12 万,RSS 1.8G,接口 p99 从 80 毫秒爬到 600 毫秒。进程没崩,但每小时都在变慢,重启一次能好三天,第三天又回到原点。
第一反应是对象没回收,手动调了一次 runtime.GC(),goroutine 数一动不动。goroutine 不是普通对象,没人引用也不会消失,它得靠函数体返回才会退出,这是我当时最大的误解。
pprof 抓 goroutine profile,12 万个栈里有 11.6 万个停在 runtime.gopark,调用链末尾是 runtime.timer。每个 WebSocket 会话进来都 new 一个 ticker 做心跳,会话断开时直接 return,没有 Stop。
ticker 不 Stop 就一直挂在运行时的定时器堆上,每 30 秒触发一次,触发点唤醒一个 park 的 goroutine,睡完再 park。会话早就没了,这个循环还在跑,一天下来就是十几万个。
试过在 handler 里加 defer ticker.Stop(),无效。ticker 是在另一个长驻 goroutine 里创建的,handler 早返回了,defer 也跟着执行完,真正持有它的是那个 for 循环。
改成业务 goroutine 自己持有 ticker,defer 挂在同一个函数里,ctx.Done 时先 Stop 再 return。用 ctx 而不是一个 bool 标志,是因为 Stop 只停止后续触发,叫不醒已经 park 的 goroutine,得靠 channel 关闭。
另一处漏点是 time.After,循环里每秒调一次,每个 timer 30 秒后才释放,等于常驻 30 个。改成 NewTimer 加 Reset,或者干脆复用同一个 ticker,这一处又省下 3 万个 goroutine。
确认口径:改完压测 4 小时,goroutine 稳定在 38 个;用 pprof 的 diff_base 对比两份 profile,新增栈为 0;RSS 从 1.8G 回落到 210MB,p99 回到 82 毫秒。
t := time.NewTicker(30 * time.Second)
defer t.Stop()
for {
select {
case <-t.C:
flush()
case <-ctx.Done():
return
}
} 