java大量数据加载时resultSetType参数的设置 TYPE_FORWARD_ONLY

这两天的工作是将一1000万条数据库记录(10GB)加载到内存中,加载到500多万条记录的时候，就报了OOM(内存不足)。
解决了所有可能造成内存使用不当的外围问题后，再运行还是这个问题，无法加载全部数据。于是只好沉下心仔细研究了之前很少碰的底层访问数据库的代码(这部分代码是第三方的ORM软件通过模板生成的)。

    /**     * Load each the elements using a SQL statement specifying a list of fields to be retrieved and dealt by action.     * @param sql the SQL statement for retrieving     * @param argList the arguments to use fill given prepared statement,may be null     * @param fieldList table of the field's associated constants     * @param startRow the start row to be used (first row = 1, last row = -1)//起始行号     * @param numRows the number of rows to be retrieved (all rows = a negative number)//行数     * @param action Action object for do something(not null)     * @return the count dealt by action     * @throws DAOException     */    public int loadBySqlForAction(String sql, Object[] argList, int[] fieldList,int startRow, int numRows,Action action) throws DAOException{        PreparedStatement ps = null;        Connection connection = null;        try {            //获取数据库连接            connection = this.getConnection();            //创建PreparedStatement             ps = connection.prepareStatement(sql,                    1==startRow?ResultSet.TYPE_SCROLL_INSENSITIVE:ResultSet.TYPE_SCROLL_SENSITIVE,                    ResultSet.CONCUR_READ_ONLY);            //填充PrepareStatement中的?占位符            fillPrepareStatement(ps, argList);            //执行PreparedStatement             return this.loadByPreparedStatement(ps, fieldList, startRow, numRows, action);        } catch (DAOException e) {            throw e;        }catch (SQLException e) {            throw new DataAccessException(e);        } finally {            this.getManager().close(ps);            this.freeConnection(connection);        }    }

在创建PreparedStatement时,resultSetType参数设置的是TYPE_SCROLL_INSENSITIVE或TYPE_SCROLL_SENSITIVE,
这两个参数的共同特点是允许结果集(ResultSet)的游标可以上下移动。而默认的TYPE_FORWARD_ONLY参数只允许结果集的游标向下移动。

我加载这么大量的数据到内存过程中，只是顺序读取每一条记录，TYPE_FORWARD_ONLY就够了，游标用不着前后移动，于是将改为TYPE_FORWARD_ONLY，重新生成ORM代码，遂加载成功。

            ps = connection.prepareStatement(sql,                    ResultSet.TYPE_FORWARD_ONLY,                    ResultSet.CONCUR_READ_ONLY);

总结

如果PreparedStatement对象初始化时resultSetType参数设置为TYPE_FORWARD_ONLY，在从ResultSet（结果集）中读取记录的时，对于访问过的记录就自动释放了内存。而设置为TYPE_SCROLL_INSENSITIVE或TYPE_SCROLL_SENSITIVE时为了保证能游标能向上移动到任意位置，已经访问过的所有都保留在内存中不能释放。所以大量数据加载的时候，就OOM了。