用 pprof 找出一个 20% 的 CPU 开销,顺便说说怎么读火焰图

Go性能优化pprof

一个接口服务做重构之后,QPS 没变但 CPU 使用率从 45% 涨到 65%。代码 Review 了三遍,没看出哪里多了循环。于是上 pprof。

采集

线上服务一般会在内网端口暴露 pprof:

import _ "net/http/pprof"

go func() {
    // 不要绑 0.0.0.0
    log.Println(http.ListenAndServe("127.0.0.1:6060", nil))
}()

采 30 秒 CPU profile:

go tool pprof -seconds=30 http://127.0.0.1:6060/debug/pprof/profile
# 进去之后
(pprof) top20
(pprof) web       # 需要 graphviz,生成调用图
(pprof) list 函数名   # 看某函数逐行的开销

结果

top20 里第一眼是这样的(数字是杜撰的,比例是当时真实的):

flat  flat%   sum%        cum   cum%
0.82s 18.20% 18.20%      0.82s 18.20%  regexp.(*Regexp).doExecute
0.41s  9.10% 27.30%      0.44s  9.77%  runtime.mallocgc
0.28s  6.21% 33.51%      0.28s  6.21%  unicode.ToLower

doExecute 占了 18%,这很反常。Go 的 regexp 用的是 RE2,没有回溯,正常情况下单个匹配不该这么贵。它是贵在编译上的——regexp.MustCompile 每次调用都会重新解析表达式并构建状态机,大概几微秒到几十微秒。

去代码里搜:

func normalizePath(p string) string {
    re := regexp.MustCompile(`\d+`)   // 每次调用都编译一遍
    return re.ReplaceAllString(p, ":id")
}

这个函数在请求路径上被调用,每个请求调了三次。\d+ 的编译成本在高 QPS 下就是实打实的 CPU。

修法很简单,包级变量编译一次:

var digitRe = regexp.MustCompile(`\d+`)

func normalizePath(p string) string {
    return digitRe.ReplaceAllString(p, ":id")
}

注意 regexp.Regexp 是并发安全的,可以放心共享。改完 CPU 回到 47%,20 个点的开销没了。

unicode.ToLower 排在第三位,看 list 发现是日志格式化里对整条消息做了 strings.ToLower,那个是另一回事,改成只在必要的时候转小写。

火焰图怎么读

生成的 SVG 火焰图,规则很简单:

  • 宽度 = CPU 时间占比,这是唯一重要的维度。
  • 高度 = 调用栈深度,不代表耗时,别被高度带跑。
  • 纵向看是调用链:下面的是调用者,上面的是被调用者。
  • 找平顶的山——某个函数自己占了一大块宽度,说明它本身在烧 CPU,而不是在等子调用。

两个常见误读:

误读一:只看最顶层。 顶层往往是 runtime.mallocgc、runtime.futex、syscall.Syscall 这种,它们是被别处调用的。要看它们下面的调用者是谁——mallocgc 宽,说明分配多,要去查谁在分配。

误读二:把宽当作慢。 火焰图只统计 CPU 时间(on-CPU)。如果大量时间花在等网络、等锁、等 GC 上,火焰图上根本看不到。这种情况要用 block profile 或 mutex profile。

三种 profile 的分工

profile采集方式用来看什么
profile(CPU)/debug/pprof/profile谁在烧 CPU,采样 30s
heap/debug/pprof/heap谁在分配、内存被谁持有
block/debug/pprof/blockgoroutine 阻塞在哪(需要 runtime.SetBlockProfileRate)
mutex/debug/pprof/mutex锁竞争(需要 runtime.SetMutexProfileFraction)
trace/debug/pprof/tracegoroutine 调度、GC、系统调用时间线

前面那个例子如果只看 CPU profile 就不会那么直观,因为那是个 CPU 问题刚好撞对了。如果是「CPU 不高但延迟高」的问题,直接上 trace 和 block,别浪费时间看 CPU 火焰图。

排查时的一个习惯

我现在的习惯是:服务上线后先采一份 baseline profile 存下来。 出问题时采一份对比。

go tool pprof -base baseline.prof current.prof

-base 参数会做差分,直接告诉你「相比基线,哪些函数变多了」。这个比盲看 top20 高效得多,尤其是在重构之后——你本来就知道哪块代码动过,差分能立刻确认是不是它。

heap 也一样,内存缓慢泄漏的场景用差分特别好使。

顺手提一句

线上开 pprof 端口要注意:

  • 只监听 127.0.0.1,不要 0.0.0.0。
  • 更稳妥的做法是走单独的运维端口,和业务端口分开,只对跳板机开放。
  • pprof 的接口能 profile 你的进程,某种意义上是个信息泄露面,别放在公网上。如果一定要,套一层带认证的反向代理。