golang利用pprof与go-torch如何做性能分析
前言
软件开发过程中,项目上线并不是终点。上线后,还要对程序的取样分析运行情况,并重构现有的功能,让程序执行更高效更稳写。 golang的工具包内自带pprof功能,使找出程序中占内存和cpu较多的部分功能方便了不少。加上uber的火焰图,可视化显示,让我们在分析程序时更简单明了。
pprof有两个包用来分析程序一个是net/http/pprof另一个是runtime/pprof,net/http/pprof只是对runtime/pprof包进行封装并用http暴露出来,如下图源码所示:
使用net/http/pprof分析web服务
pprof分析web项目,非常的简单只需要导入包即可。
_ "net/http/pprof"
编写一个小的web服务器
package main import ( _ "net/http/pprof" "net/http" "time" "math/rand" "fmt" ) var count int64 = 0 func main() { go calcount() http.handlefunc("/test", test) http.handlefunc("/data", handlerdata) err := http.listenandserve(":9909", nil ) if err != nil { panic(err) } } func handlerdata(w http.responsewriter, r *http.request) { qurl := r.url fmt.println(qurl) fibrev := fib() var fib uint64 for i:= 0; i < 5000; i++ { fib = fibrev() fmt.println("fib = ", fib) } str := randomstr(randomint(100, 500)) str = fmt.sprintf("fib = %d; string = %s", fib, str) w.write([]byte(str)) } func test(w http.responsewriter, r *http.request) { fibrev := fib() var fib uint64 index := count arr := make([]uint64, index) var i int64 for ; i < index; i++ { fib = fibrev() arr[i] = fib fmt.println("fib = ", fib) } time.sleep(time.millisecond * 500) str := fmt.sprintf("fib = %v", arr) w.write([]byte(str)) } func fib() func() uint64 { var x, y uint64 = 0, 1 return func() uint64 { x, y = y, x + y return x } } var letterrunes = []rune("abcdefghijklmnopqrstuvwxyzabcdefghijklmnopqrstuvwxyz1234567890") func randomstr(num int) string { seed := time.now().unixnano() if seed <= 0 { seed = time.now().unixnano() } rand.seed(seed) b := make([]rune, num) for i := range b { b[i] = letterrunes[rand.intn(len(letterrunes))] } return string(b) } func randomint(min, max int) int { rand.seed(time.now().unixnano()) return rand.intn(max - min + 1) + min } func calcount() { timeinterval := time.tick(time.second) for { select { case i := <- timeinterval: count = int64(i.second()) } } }
web服务监听9909端口
web服务器有两个http方法
test: 根据当前的秒数做斐波那契计算
data: 做一个5000的斐波那契计算并返回一个随机的字符串
运行程序,通过访问 http://192.168.3.34:9909/debug/pprof/可以查看web版的profiles相关信息
这几个路径表示的是
/debug/pprof/profile:访问这个链接会自动进行 cpu profiling,持续 30s,并生成一个文件供下载
/debug/pprof/block:goroutine阻塞事件的记录。默认每发生一次阻塞事件时取样一次。
/debug/pprof/goroutines:活跃goroutine的信息的记录。仅在获取时取样一次。
/debug/pprof/heap: 堆内存分配情况的记录。默认每分配512k字节时取样一次。
/debug/pprof/mutex: 查看争用互斥锁的持有者。
/debug/pprof/threadcreate: 系统线程创建情况的记录。 仅在获取时取样一次。
除了这些golang为我提供了更多方便的方法,用于分析,下面我们来用命令去访问详细的信息
我们用wrk来访问我们的两个方法,这样我们的服务会处在高速运行状态,取样的结果会更准确
wrk -c 20 -t 5 -d 3m http://192.168.3.34:9909/data wrk -c 20 -t 5 -d 3m http://192.168.3.34:9909/test
分析cpu使用情况
使用命令分析cpu使用情况
go tool pprof httpdemo http://192.168.3.34:9909/debug/pprof/profile
在默认情况下,go语言的运行时系统会以100 hz的的频率对cpu使用情况进行取样。也就是说每秒取样100次,即每10毫秒会取样一次。为什么使用这个频率呢?因为100 hz既足够产生有用的数据,又不至于让系统产生停顿。并且100这个数上也很容易做换算,比如把总取样计数换算为每秒的取样数。实际上,这里所说的对cpu使用情况的取样就是对当前的goroutine的堆栈上的程序计数器的取样。
默认的取样时间是30s 你可以通过-seconds 命令来指定取样时间 。取样完成后会进入命令行状态:
可以输入help查看相关的命令.这里说几个常用的命令
top命令,输入top命令默认是返加前10的占用cpu的方法。当然人可以在命令后面加数字指定top数
list命令根据你的正则输出相关的方法.直接跟可选项o 会输出所有的方法。也可以指定方法名
如: handlerdata方法占cpu的74.81%
web命令:以网页的形式展现:更直观的显示cpu的使用情况
分析内存使用情况
和分析cpu差不多使用命令
go tool pprof httpdemo http://192.168.3.34:9909/debug/pprof/heap
默认情况下取样时只取当前内存使用情况,可以加可选命令alloc_objects,将从程序开始时的内存取样
go tool pprof -alloc_objects httpdemo http://192.168.3.34:9909/debug/pprof/heap
和cpu的命令一样,top list web。不同的是这里显示的是内存使用情况而已。这里我就不演示了。
安装go-torch
还有更方便的工具就是uber的了
安装很简单
go get github.com/uber/go-torch cd $gopath/src/github.com/uber/go-torch git clone https://github.com/brendangregg/flamegraph.git
然后运行flamegraph下的 拷贝flamegraph.pl 到 /usr/local/bin
火焰图分析cpu
使用命令
go-torch -u http://192.168.3.34:9909 --seconds 60 -f cpu.svg
会在当前目录下生成cpu.svg文件,使用浏览器打开
更直观的看到应用程序的问题。handlerdata方法占用的cpu时间过长。然后就是去代码里分析并优化了。
火焰图分析内存
使用命令
go-torch http://192.168.3.34:9909/debug/pprof/heap --colors mem -f mem.svg
会在当前目录下生成cpu.svg文件,使用浏览器打开
使用runtime/pprof分析项目
如果你的项目不是web服务,比如是rpc服务等,就要使用runtime/pprof。他提供了很多方法,有时间可以看一下源码
我写了一个简单的工具类。用于调用分析
package profapp import ( "os" "rrnc_im/lib/zaplogger" "go.uber.org/zap" "runtime/pprof" "runtime" ) func startcpuprof() { f, err := os.create("cpu.prof") if err != nil { zaplogger.error("create cpu profile file error: ", zap.error(err)) return } if err := pprof.startcpuprofile(f); err != nil { zaplogger.error("can not start cpu profile, error: ", zap.error(err)) f.close() } } func stopcpuprof() { pprof.stopcpuprofile() } //--------mem func profgc() { runtime.gc() // get up-to-date statistics } func savememprof() { f, err := os.create("mem.prof") if err != nil { zaplogger.error("create mem profile file error: ", zap.error(err)) return } if err := pprof.writeheapprofile(f); err != nil { zaplogger.error("could not write memory profile: ", zap.error(err)) } f.close() } // goroutine block func saveblockprofile() { f, err := os.create("block.prof") if err != nil { zaplogger.error("create mem profile file error: ", zap.error(err)) return } if err := pprof.lookup("block").writeto(f, 0); err != nil { zaplogger.error("could not write block profile: ", zap.error(err)) } f.close() }
在需要分析的方法内调用这些方法就可以 比如我是用rpc开放了几个方法
type testprof struct { } func (*testprof) startcpuproact(context.context, *im_test.testrequest, *im_test.testrequest) error { profapp.startcpuprof() return nil } func (*testprof) stopcpuprofact(context.context, *im_test.testrequest, *im_test.testrequest) error { profapp.stopcpuprof() return nil } func (*testprof) profgcact(context.context, *im_test.testrequest, *im_test.testrequest) error { profapp.profgc() return nil } func (*testprof) savememact(context.context, *im_test.testrequest, *im_test.testrequest) error { profapp.savememprof() return nil } func (*testprof) saveblockprofileact(context.context, *im_test.testrequest, *im_test.testrequest) error { profapp.saveblockprofile() return nil }
调用
proftest.startcpuproact(context.todo(), &im_test.testrequest{}) time.sleep(time.second * 30) proftest.stopcpuprofact(context.todo(), &im_test.testrequest{}) proftest.savememact(context.todo(), &im_test.testrequest{}) proftest.saveblockprofileact(context.todo(), &im_test.testrequest{})
思想是一样的,会在当前文件夹内导出profile文件。然后用火焰图去分析,就不能指定域名了,要指定文件
go-torch httpdemo cpu.prof go-torch httpdemo mem.prof
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对的支持。
上一篇: nodejs实现日志读取、日志查找及日志刷新的方法分析
下一篇: 深入Go goroutine理解