上线后 CPU 打到 100% 火焰图里怎么认出真正的热点函数

Go 写的网关,上线十分钟 CPU 从 18% 冲到 100%,监控图上是一条直线。机器 4 核,负载 5.6,接口还能返回,但 P99 从 40ms 涨到 900ms。pprof 端口一直开着,直接采 30 秒。

go tool pprof 进去先看 top,flat 排第一的是 runtime.mapaccess1_faststr,占 41.7%,第二是 concatstring2。这两个凑一起,基本就是每次请求都拼字符串再查 map。list 一下调用方,落到中间件里的鉴权函数,每个请求把 token 拆开拼成 key,再去全局 map 里找权限。

火焰图上这个函数被内联了,方框上显示的是父函数名,很容易看漏。我的做法是关掉内联再采一次,go build 加 -gcflags=all=-l,热点才露出来,宽度占比 38%,跟自己写的那段逻辑对得上。

采集时长也有讲究。30 秒的样本在低 QPS 下只有几千个,mapaccess 的占比会被噪声拉偏;改成 60 秒、并发压到 200,数字才稳定。另一个误区是只看颜色深浅,颜色是随机分配的,宽度才是耗时。

go tool pprof -http=:8081 \
  "http://127.0.0.1:6060/debug/pprof/profile?seconds=30"
go build -gcflags=all=-l -o gateway .
go tool pprof gateway cpu.pprof

试过加 SYNc.Pool 复用 buffer,CPU 只降了 3 个点,因为瓶颈不在分配,在哈希和字符串拼接。真正的改法是把权限在启动时构建成一棵只读的树,请求进来按前缀走一次,连 map 都不查。

顺手把采样率从默认 100Hz 调到 200Hz,短函数也能进样本,代价是开销略增,只在排障时开。这个参数在 runtime/pprof 里叫 SetCPUProfileRate,改完记得关。

改完重新压测,同样 QPS 下 CPU 23%,P99 45ms。火焰图不是用来看哪个函数最红的,是看宽度和调用链,热点往往就藏在你最熟的那段代码里。

您可以还会对下面的文章感兴趣: