今天在类MYSQL数据库使用游标(spring的jdbcTemplate)读取大批量数据(几百万)的时候,发现系统的内存飙升,一直到内存溢出,而程序并没有执行到具体的处理逻辑上。
同样的程序,在ORACLE是可以正常执行的,所以可以确定程序本身是没问题的,但MYSQL的处理是将数据全部读取出来后才做处理。
源程序如下,test表500w,类MYSQL数据库直接执行,直到内存溢出都不会打印出东西:
jdbcTemplate.query("select * from test", rs->{
System.out.println(rs);
});
解决办法:
jdbcTemplate.setFetchSize(Integer.MIN_VALUE);
在查询前,设置上fetchSize,就可以游标正常处理数据了。
注:
后面网上找了下,一共有3种方法可以使用:
1、当statement设置以下属性时,采用的是流数据接收方式,每次只从服务器接收部份数据,直到所有数据处理完毕,不会发生JVM OOM
setResultSetType(ResultSet.TYPE_FORWARD_ONLY);
setFetchSize(Integer.MIN_VALUE);
2、调用statement的enableStreamingResults方法。封装了第一种方法的实现
3、设置连接属性useCursorFetch=true