Erlang项目内存泄漏分析方法
随着项目越来越依赖erlang,碰到的问题也随之增加。前段时间线上系统碰到内存高消耗问题,记录一下troubleshooting的分析过程。线上系统用的是erlang r16b02版本。
问题描述
有几台线上系统,运行一段时间,内存飙升。系统模型很简单,有网络连接,pool中找新的process进行处理。top命令观察,发现内存都被erlang进程给吃完了,netstat命令查看网络连接数,才区区几k。问题应该是erlang内存泄漏了。
分析方法
erlang系统有个好处,可以直接进入线上系统,在生产现场分析问题。我们系统是通过rebar管理的,可以用不同方法进入线上系统。
本机登录
可以直接登录到线上机器,然后通过以下命令attach到erlang系统里面
通过remote shell
获取erlang系统的cookie
新开一个shell,使用同样的cookie,不同的nodename
用start remote shell进入系统
分析流程
erlang有很多工具,可以分析系统信息,比如,。但是系统内存严重不足,已经没有办法启动这些工具了,幸好还有erlang shell。
erlang shell自带了很多有用的,可以用help()方法查看
erlang系统内存消耗情况
top结果显示,是内存问题,所以第一步可以先看看erlang的系统内存消耗情况
可以看到erlang emulator分配的内存,有总的内存,atom消耗的内存,process消耗的内存等等。
erlang process创建数量
线上系统发现主要内存消耗都在process上面,接下来要分析,是process内存泄漏了,还是process创建数量太多导致。
返回当前系统的一些信息,比如系统process,port的数量。执行上面命令,大吃一惊,只有2,3k的网络连接,结果erlang process已经有10多w了。系统process创建了,但是因为代码或者其它原因,堆积没有释放。
查看单个process的信息
既然是因为process因为某种原因堆积了,只能从process里找原因了
先要获取堆积process的pid
看到有很多process hang在那里,查看具体pid信息,发现message_queue有几条消息没有被处理。下面就用到强大的方法,它可以获取进程相当丰富的信息。
查看进程的backtrace时,发现下面的信息
process在处理erlang第三方的日志库时,hang住了。
问题原因
查看lager的文档,发现以下信息
原来lager有个配置项,配置message未处理的数量,如果message堆积数超出,则会用 同步 方式处理!
当前系统打开了debug log,洪水般的log把系统给冲垮了。
老外也碰到类似问题,这个thread给我们的分析带来很多帮助,感谢一下。
总结
erlang提供了丰富的工具,可以在线进入系统,现场分析问题,这个非常有助于高效、快速的定位问题。同时,强大的erlang otp让系统有更稳定的保证。我们还会继续挖掘erlang,期待有更多的实践分享。
上一篇: Erlang编程语言的第一印象