欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

【赵强老师】如何分析Java的内存溢出问题

程序员文章站 2022-03-11 17:19:18
...

【赵强老师】如何分析Java的内存溢出问题 
            
    
    博客分类: 大数据HadoopSparkFlinkjava HadoopJavaSparkFlinkOOM 

一、什么是内存溢出?

内存溢出(OOM:out of memory)通俗理解就是内存不够,通常在运行大型软件或游戏时,软件或游戏所需要的内存远远超出了你主机内安装的内存所承受大小,就叫内存溢出。

在Java中,将会产生java.lang.OutOfMemoryError。看下关于的官方说明: Thrown when the Java Virtual Machine cannot allocate an object because it is out of memory, and no more memory could be made available by the garbage collector. 意思就是说,当JVM因为没有足够的内存来为对象分配空间并且垃圾回收器也已经没有空间可回收时,就会抛出这个error(注:非exception,因为这个问题已经严重到不足以被应用处理)。

二、为什么产生OOM?

为什么会没有内存了呢?原因不外乎有两点:

  • 分配的少了:比如虚拟机本身可使用的内存(一般通过启动时的VM参数指定)太少。
  • 应用用的太多,并且用完没释放,浪费了。此时就会造成内存泄露或者内存溢出。

在Java语言中,由于存在了垃圾自动回收机制,所以,我们一般不用去主动释放不用的对象所占的内存,也就是理论上来说,是不会存在“内存泄露”的。但是,如果编码不当,比如,将某个对象的引用放到了全局的Map中,虽然方法结束了,但是由于垃圾回收器会根据对象的引用情况来回收内存,导致该对象不能被及时的回收。如果该种情况出现次数多了,就会导致内存溢出,比如系统中经常使用的缓存机制。Java中的内存泄露,不同于C++中的忘了delete,往往是逻辑上的原因泄露。

三、如何分析Java OOM?

在故障定位(尤其是out of memory)和性能分析的时候,经常会用到一些文件来帮助我们排除代码问题。这些文件记录了JVM运行期间的内存占用、线程执行等情况,这就是我们常说的dump文件。常用的有heap dump和thread dump(也叫javacore,或java dump)。我们可以这么理解:heap dump记录内存信息的,thread dump是记录CPU信息的。这里我们重点介绍heap dump。
heap dump文件是一个二进制文件,它保存了某一时刻JVM堆中对象使用情况。HeapDump文件是指定时刻的Java堆栈的快照,是一种镜像文件。Heap Analyzer工具通过分析HeapDump文件,哪些对象占用了太多的堆栈空间,来发现导致内存泄露或者可能引起内存泄露的对象。

四、案例

首先,我们来开发一段Java程序。

import java.util.*;

public class Test {

 public static void main(String[] args) {
  List<String> list = new ArrayList<String>();
  
  int i = 0;
  while (true) {
   list.add(new String("test"));  }
 }

}

 

 

使用下面的命令运行该程序时设置JVM的堆内存(heap size)的极限值为10M(-Xmx10m)。

java -Xmx10m Test

 

很快,程序将会产生OOM的错误,如下图所示:

【赵强老师】如何分析Java的内存溢出问题 
            
    
    博客分类: 大数据HadoopSparkFlinkjava HadoopJavaSparkFlinkOOM 

五、如何生成Head Dump文件?

我们可以在运行Java程序的时候,加入下面的参数:

-XX:+HeapDumpOnOutOfMemoryError

 

此参数是帮助生成dump文件,程序启动后直到抛出OOM异常。异常抛出后,在程序的classpath下会生成以一个以.hprof结尾的文件,如:java_pid4504.hprof,这就是我们需要的dump文件。

如下图所示:

【赵强老师】如何分析Java的内存溢出问题 
            
    
    博客分类: 大数据HadoopSparkFlinkjava HadoopJavaSparkFlinkOOM 

六、使用IBM heapAnalyzer分析Head Dump文件

IBM heapAnalyzer(https://www.ibm.com/support/pages/ibm-heapanalyzer)是IBM开发的强大的内存dump分析工具,,IBM heapAnalyzer是通过分析OOM后的Java heap dump文件的,通过对dump文件的分析找到内存可能泄露的点。

【赵强老师】如何分析Java的内存溢出问题 
            
    
    博客分类: 大数据HadoopSparkFlinkjava HadoopJavaSparkFlinkOOM 

启动IBM heapAnalyzer,并导入刚才生成的Heap Dump文件,如下图所示。

【赵强老师】如何分析Java的内存溢出问题 
            
    
    博客分类: 大数据HadoopSparkFlinkjava HadoopJavaSparkFlinkOOM 

通过分析我们会发现,系统94.19%的内存都被一个ArrayList占用了(里面保存的都是Object)。这里就有可能是一个内存的溢出点。当然,我们这个例子非常典型,在实际工作可能没有这么明显,需要具体问题具体分析。

【赵强老师】如何分析Java的内存溢出问题 
            
    
    博客分类: 大数据HadoopSparkFlinkjava HadoopJavaSparkFlinkOOM 

【赵强老师】如何分析Java的内存溢出问题 
            
    
    博客分类: 大数据HadoopSparkFlinkjava HadoopJavaSparkFlinkOOM