记一次OOM异常及处理

GPS设备定期发送数据至Redis，Redis做消息队列，Java服务为消费者，在while(true)中不断的去消费数据，代码如下：

while (true){
    Object e = redisTemplate.opsForList().rightPop("list");
    if(null==e) continue;
    executor.execute(() -> {
        dataDeal(e);
    });
}

部署至生产环境运行了一段时间之后报异常：

[main] WARN  org.springframework.context.support.AbstractApplicationContext 557 refresh - Exception encountered during context initialization - cancelling refresh attempt: org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'dataHandle': Invocation of init method failed; 
nested exception is org.springframework.data.redis.RedisSystemException: Redis exception; 
nested exception is io.lettuce.core.RedisException: java.lang.OutOfMemoryError: GC overhead limit exceeded

原因分析：
解决方案：解决中

1. 查看CPU等系统信息

top

分核心查看

top -H

可以看到PID为9763的进程占了90%的cpu；查看该进程下比较耗费资源的线程

top -H -p 9763

找到几个比较耗费资源的线程，jstack查看堆内存

jstack 9763 | grep 262b -A 20 -B 20

262b为9771的16进制形式，-A 20 -B 20上下20行

2. 查看dump文件

启动时加入参数打印dump文件

nohup java -XX:+HeapDumpOnOutOfMemoryError -XX:+HeapDumpBeforeFullGC -XX:HeapDumpPath=./logs/ -jar gps_reader-0.0.1-SNAPSHOT.jar &

下载dump文件，导入Memory Analyzer分析，分析结果：

定位到发生问题的代码位置：