用 pprof 找出一个 20% 的 CPU 开销,顺便说说怎么读火焰图
一个接口服务做重构之后,QPS 没变但 CPU 使用率从 45% 涨到 65%。代码 Review 了三遍,没看出哪里多了循环。于是上 pprof。
采集
线上服务一般会在内网端口暴露 pprof:
import _ "net/http/pprof"
go func() {
// 不要绑 0.0.0.0
log.Println(http.ListenAndServe("127.0.0.1:6060", nil))
}()
采 30 秒 CPU profile:
go tool pprof -seconds=30 http://127.0.0.1:6060/debug/pprof/profile
# 进去之后
(pprof) top20
(pprof) web # 需要 graphviz,生成调用图
(pprof) list 函数名 # 看某函数逐行的开销
结果
top20 里第一眼是这样的(数字是杜撰的,比例是当时真实的):
flat flat% sum% cum cum%
0.82s 18.20% 18.20% 0.82s 18.20% regexp.(*Regexp).doExecute
0.41s 9.10% 27.30% 0.44s 9.77% runtime.mallocgc
0.28s 6.21% 33.51% 0.28s 6.21% unicode.ToLower
doExecute 占了 18%,这很反常。Go 的 regexp 用的是 RE2,没有回溯,正常情况下单个匹配不该这么贵。它是贵在编译上的——regexp.MustCompile 每次调用都会重新解析表达式并构建状态机,大概几微秒到几十微秒。
去代码里搜:
func normalizePath(p string) string {
re := regexp.MustCompile(`\d+`) // 每次调用都编译一遍
return re.ReplaceAllString(p, ":id")
}
这个函数在请求路径上被调用,每个请求调了三次。\d+ 的编译成本在高 QPS 下就是实打实的 CPU。
修法很简单,包级变量编译一次:
var digitRe = regexp.MustCompile(`\d+`)
func normalizePath(p string) string {
return digitRe.ReplaceAllString(p, ":id")
}
注意 regexp.Regexp 是并发安全的,可以放心共享。改完 CPU 回到 47%,20 个点的开销没了。
unicode.ToLower 排在第三位,看 list 发现是日志格式化里对整条消息做了 strings.ToLower,那个是另一回事,改成只在必要的时候转小写。
火焰图怎么读
生成的 SVG 火焰图,规则很简单:
- 宽度 = CPU 时间占比,这是唯一重要的维度。
- 高度 = 调用栈深度,不代表耗时,别被高度带跑。
- 纵向看是调用链:下面的是调用者,上面的是被调用者。
- 找平顶的山——某个函数自己占了一大块宽度,说明它本身在烧 CPU,而不是在等子调用。
两个常见误读:
误读一:只看最顶层。 顶层往往是 runtime.mallocgc、runtime.futex、syscall.Syscall 这种,它们是被别处调用的。要看它们下面的调用者是谁——mallocgc 宽,说明分配多,要去查谁在分配。
误读二:把宽当作慢。 火焰图只统计 CPU 时间(on-CPU)。如果大量时间花在等网络、等锁、等 GC 上,火焰图上根本看不到。这种情况要用 block profile 或 mutex profile。
三种 profile 的分工
| profile | 采集方式 | 用来看什么 |
|---|---|---|
profile(CPU) | /debug/pprof/profile | 谁在烧 CPU,采样 30s |
heap | /debug/pprof/heap | 谁在分配、内存被谁持有 |
block | /debug/pprof/block | goroutine 阻塞在哪(需要 runtime.SetBlockProfileRate) |
mutex | /debug/pprof/mutex | 锁竞争(需要 runtime.SetMutexProfileFraction) |
trace | /debug/pprof/trace | goroutine 调度、GC、系统调用时间线 |
前面那个例子如果只看 CPU profile 就不会那么直观,因为那是个 CPU 问题刚好撞对了。如果是「CPU 不高但延迟高」的问题,直接上 trace 和 block,别浪费时间看 CPU 火焰图。
排查时的一个习惯
我现在的习惯是:服务上线后先采一份 baseline profile 存下来。 出问题时采一份对比。
go tool pprof -base baseline.prof current.prof
-base 参数会做差分,直接告诉你「相比基线,哪些函数变多了」。这个比盲看 top20 高效得多,尤其是在重构之后——你本来就知道哪块代码动过,差分能立刻确认是不是它。
heap 也一样,内存缓慢泄漏的场景用差分特别好使。
顺手提一句
线上开 pprof 端口要注意:
- 只监听
127.0.0.1,不要0.0.0.0。 - 更稳妥的做法是走单独的运维端口,和业务端口分开,只对跳板机开放。
- pprof 的接口能 profile 你的进程,某种意义上是个信息泄露面,别放在公网上。如果一定要,套一层带认证的反向代理。