java：线上问题排查常用手段

一、jmap找出占用内存较大的实例

先给个示例代码：

import java.util.list;
import java.util.concurrent.countdownlatch;

/**
 * @classname oomtest
 * @description todo
 * @date 2019/11/14 9:48 am
 * @author by lixin
 */
public class oomtest {
    public static void main(string[] args) throws interruptedexception {
        countdownlatch latch = new countdownlatch(1);
        int max = 10000;
        list<person> list = new arraylist<>(max);
        for (int j = 0; j < max; j++) {
            person p = new person();
            p.setage(100);
            p.setname("彭阿三");
            list.add(p);
        }
        system.out.println("ready!");
        latch.await();
    }


    public static class person {
        private string name;
        private int age;

        public string getname() {
            return name;
        }

        public void setname(string name) {
            this.name = name;
        }

        public int getage() {
            return age;
        }

        public void setage(int age) {
            this.age = age;
        }
    }
}

list中放了1w个person对象的实例，先把这段程序跑起来

javac oomtest.java

java oomtest

然后再开一个窗口，jps -l  找出该程序的pid

          

 

 然后执行 jmap -histo:live 7320 （注：如果输出内容太多，只想看排名前10的，可以加 | head -10）

           

 

 输出结果，会按内存使用量，从大到小依次把对象的实际个数，占用内存数量(字节数)打印出来，最后还会输出汇总信息

           

 

以上面的示例来说，oomtest$person这个类的实例数为10000个，总共占用240000字节（注：即每个实例24字节），这个程序总占用内存数为725464字节，约：0.69m。

另外还有一些[c,[b这类class name，大概意思为：

[c is a char[]
[s is a short[]
[i is a int[]
[b is a byte[]
[[i is a int[][]

[c对象往往跟string有关，string其内部使用final char[]数组来保存数据的

constmethodklass/ methodklass/ constantpoolklass/ constantpoolcacheklass/ instanceklassklass/ methoddataklass

与classloader相关，常驻与perm区。

 

二、找出某个java应用打开的句柄数及线程数

ll /proc/{pid}/fd | wc -l 查看打开的句柄数

ll /proc/{pid}/task | wc -l 查看线程数

三、jmap 查看堆内存的各项配置

jmap -heap pid 可以看到类似下面的输出：

 

using thread-local object allocation.
parallel gc with 4 thread(s) //当前使用的gc方式(并行gc)
 
heap configuration: //堆内存配置
   minheapfreeratio = 0   //对应jvm启动参数-xx:minheapfreeratio设置jvm堆最小空闲比率(java8默认0)
   maxheapfreeratio = 100 //对应jvm启动参数-xx:maxheapfreeratio设置jvm堆最大空闲比率
   maxheapsize = 8388608 (8.0mb) //对应jvm启动参数-xx:maxheapsize=设置jvm堆的最大大小(或-xmx参数)
   newsize = 5242880 (5.0mb) //对应jvm启动参数-xx:newsize=设置jvm堆的‘新生代’的默认
   maxnewsize = 5242880 (5.0mb) //对应jvm启动参数-xx:maxnewsize=设置jvm堆的‘新生代’的最大大小
   oldsize = 3145728 (3.0mb) //对应jvm启动参数-xx:oldsize=设置jvm堆的‘老生代’的大小
   newratio = 2 //对应jvm启动参数-xx:newratio=:‘新生代’和‘老生代’的大小比率
   survivorratio = 8 //对应jvm启动参数-xx:survivorratio=设置年轻代中eden区与survivor区的大小比值
   metaspacesize = 21807104 (20.796875mb)
   compressedclassspacesize = 1073741824 (1024.0mb)
   maxmetaspacesize = 17592186044415 mb
   g1heapregionsize = 0 (0.0mb)
 
heap usage: //堆内存使用情况
ps young generation
eden space: //eden区分布
   capacity = 2621440 (2.5mb) //eden区总容量
   used = 2328088 (2.2202377319335938mb) //eden区已使用
   free     = 293352 (0.27976226806640625mb) //eden区剩余容量
   88.80950927734375% used
from space: //其中一个survivor区的内存分布
   capacity = 1572864 (1.5mb)
   used = 360448 (0.34375mb)
   free     = 1212416 (1.15625mb)
   22.916666666666668% used
to space: //另一个survivor区的内存分布
   capacity = 1048576 (1.0mb)
   used = 0 (0.0mb)
   free     = 1048576 (1.0mb)
   0.0% used
ps old generation //当前的old区内存分布
   capacity = 3145728 (3.0mb)
   used = 1458968 (1.3913803100585938mb)
   free     = 1686760 (1.6086196899414062mb)
   46.37934366861979% used
 
3759 interned strings occupying 298824 bytes.

 

 

 

注：5-16行是堆内存的主要配置，这些参数都可以通过 java -xx:参数名=参数值 来调整其大小，比如：

java -xx:minheapfreeratio=20 -xx:maxheapfreeratio=80 -xmx100m -xx:metaspacesize=50m -xx:newratio=3 将影响minheapfreeratio、maxheapfreeratio、maxheapsize、metaspacesize、newratio的值

            

 

 

注意下newratio，这个值指的 老年代(old generation): 新生代(young generation)的比值，上面设置成3，所以oldsize为75m，而newsize为25m，参考下图:

           

 

 

注:这是jdk7的示意图，jdk8中permanent generation被去掉了，新加入了metaspace区，但这个区别不影响对 新生代、老生代的理解。

新生代(young generation）又可以细分为eden、s0、s1 三大块。

 

          

 

 

java7与java8的内存变化，大致如上图。

survirorratio这个要难算一点，按oracle官网的解释：https://docs.oracle.com/cd/e19159-01/819-3681/abeil/index.html ，默认值是8，即：每块survivor：eden区的大小为1:8，换句话说 s0 = s1 = 1 / (1+1+8) = 1/10

注：虽然官网这么解释，但是我实际算了下，好象并不是严格按这个比例来算的，只能大概说是这个分配比例。(结论就是：survirorratio设置越大，eden区就越大)

 

 

四、找出占用cpu最高的线程

先来一段演示代码：

import java.util.concurrent.countdownlatch;
 
/**
 * created by 菩提树下的杨过 on 05/09/2017.
 */
public class oomtest {
 
    public static void main(string[] args) throws interruptedexception {
        countdownlatch latch = new countdownlatch(1);
        int max = 100;
        for (int i = 0; i < max; i++) {
            thread t = new thread() {
                public void run() {
                    try {
                        thread.sleep(50);
                    } catch (interruptedexception e) {
                        thread.currentthread().interrupt();
                    }
                }
            };
            t.setname("thread-" + i);
            t.start();
        }
        thread t = new thread() {
            public void run() {
                int i = 0;
                while (true) {
                    i = (i++) / 10;
                }
            }
        };
        t.setname("busy thread");
        t.start();
        system.out.println("ready");
        latch.await();
    }
 
}

这里面有100个线程是空转的，另外还有一个线程busy thread在狂跑cpu。

javac oomtest.java

java oomtest

把程序跑起来，jps -l 找出pid，然后  top -hp pid

 

 

 

可以看到pid 16813这个对应的线程，把cpu快跑满了，达到了98.5%

接下来，将16813转换成16进制 ，即41ad (tips: printf "%x" 16813 ) ，然后

jstack pid | grep '41ad'

 

 

我们就把最忙的这个线程busy thread给找出来了（注：这个技巧再次说明了，给线程取个好名字相当重要!)

tips：如果使用spring-boot的话，直接在浏览器里查看/dump端点，也可以达到类似jstack的效果。

 

五、jvisualvm 查看运行情况

jdk_home/bin下有一个自带的jvisualvm工具，可以图形化的查看gc情况（注：要安装插件)

java.net这个网站已经被oracle关了，所以安装插件这里，有点小麻烦，先到https://visualvm.github.io/pluginscenters.html 这里找到jvisualvm对应的jdk版本号，以jdk8为例，地址就是 https://visualvm.github.io/uc/8u131/updates.xml.gz

然后，把这个地址在plugins里的settings里改一下，然后available plugin这里，就能看到可用插件了，选择gc插件并安装。

 

 

 

可以来一段代码，然后用jvisualvm来看下gc情况

import java.util.arraylist;
import java.util.list;
 
/**
 * created by 彭阿三 on 05/09/2019.
 */
public class oomtest {
 
    public static void main(string[] args) throws interruptedexception {
        list<string> list = new arraylist<>();
        while (true) {
            thread.sleep(10);
            list.add("菩提树下的杨过" + system.currenttimemillis());
        }
    }
}

 

 

可以直观的看到old区，eden区，s0，s1以及metaspace区的内存变化情况，以上图为例：old gen区占用内存一直在增加，表示可能有内存一直未被释放，值得关注。

此外，还可以看到占用内存最多的类（即：本文最开始提到的）

 

 

 还可以更进一步点击看详情，比如下面的图，就能发现metaspace已经oom了

 

 也可以查看哪些线程最忙

 

 

六、使用jstat 查看gc

虽然jvisualvm很好用，但是通常服务器是用终端连上的，无法运行图形化界面，而且也并非所有应用都开启了jmx，所以掌握jstat以命令行方式查看gc情况也是蛮重要的

用法：jstat -gc pid 采样间隔毫秒数，比如: jstat -gc 8544 5000，将每隔5s采样一次pid为8544的gc情况

 

 

以上图为例：红剪头的地方，s0区的已用量降到0，而s1区的已用量上涨，即说明发生了young gc，对象从s0区被迁移到了s1区。

title栏的含义如下：

s0c - 新生代中第1块survivor 的容量(survivor 0 capacity)，kb单位
s1c -  新生代中第2块survivor 的容量(survivor 1 capacity)，kb单位      
s0u -  新生代中第1块survivor 已使用空间数(survivor 0 used)，kb单位    
s1u -  新生代中第2块survivor 已使用空间数(survivor 0 used)，kb单位          
ec - eden区的容量(kb)      
eu - eden区已使用(kb数)      
oc - old区的容量(kb)        
ou - old区已使用(kb数)      
mc - metaspace容量(kb)    
mu - metaspace已使用kb  
ccsc - 压缩类的内存容量(kb)
ccsu - 压缩类的已用容量(kb)  
ygc - (从应用启动算起，到采样时的) young gc次数    
ygct - (从应用启动算起，到采样时的) young gc所用时间(秒)      
fgc - (从应用启动算起，到采样时的) full gc次数    
fgct - (从应用启动算起，到采样时的) full gc所用时间(秒) 
gct - (从应用启动算起，到采样时的) yong gc + full gc的总时间

值得一提的是g1垃圾回收器，在大堆(>4g)时，用g1可能效果会更好，g1的开启方法：

-xx:+useg1gc -xx:maxgcpausemillis=200 

开启后，再使用jmap -heap pid 

 

 

 

可以看到从默认的并发gc变成了g1.

jstat -gc pid 5000

 

 

看到s0全是0，这也是g1的一个特点，将新生代与老年代的划分取消掉了，而是用region的新概念，把整个堆内存划分成一个个region，详情见本文最后的参考文章。

七、导出整个jvm的dump（慎重使用，可能导致应用停顿）

jmap -dump:format=b,file=文件名 [pid]

最后这个算是放大招了，把整个jvm都导出来分析，通常是其它手段都搞不定的时候，才找运维去搞这个，导出的文件体积大，而且导出时会使应用停顿。把这个文件弄到本地后，可以用eclipse的一个插件mat来分析，下载地址：http://www.eclipse.org/mat/downloads.php

参考文章：java gc系列 http://www.importnew.com/13504.html深入理解 java g1 垃圾收集器 http://blog.jobbole.com/109170/jstat oracle官方介绍 http://docs.oracle.com/javase/8/docs/technotes/tools/unix/jstat.html