欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

mysql游标处理大批量数据问题

程序员文章站 2022-03-04 14:07:45
...

  今天在类MYSQL数据库使用游标(spring的jdbcTemplate)读取大批量数据(几百万)的时候,发现系统的内存飙升,一直到内存溢出,而程序并没有执行到具体的处理逻辑上。

  同样的程序,在ORACLE是可以正常执行的,所以可以确定程序本身是没问题的,但MYSQL的处理是将数据全部读取出来后才做处理。

源程序如下,test表500w,类MYSQL数据库直接执行,直到内存溢出都不会打印出东西:

jdbcTemplate.query("select * from test", rs->{
  System.out.println(rs);
});

解决办法:

jdbcTemplate.setFetchSize(Integer.MIN_VALUE);

在查询前,设置上fetchSize,就可以游标正常处理数据了。

注:

后面网上找了下,一共有3种方法可以使用:

1、当statement设置以下属性时,采用的是流数据接收方式,每次只从服务器接收部份数据,直到所有数据处理完毕,不会发生JVM OOM

setResultSetType(ResultSet.TYPE_FORWARD_ONLY);
setFetchSize(Integer.MIN_VALUE); 

2、调用statement的enableStreamingResults方法。封装了第一种方法的实现

3、设置连接属性useCursorFetch=true