Mysql遍历大表(Mysql大量数据读取内存溢出的解决方法)
来源:互联网 发布:大智慧软件付费 编辑:程序博客网 时间:2024/05/13 12:22
转自:http://jamie-wang.iteye.com/blog/1873447
转载内容:
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------
mysql jdbc默认把select的所有结果全部取回,放到内存中,如果是要遍历很大的表,则可能把内存撑爆。
- 一种办法是:用limit,offset,但这样你会发现取数据的越来越慢,原因是设置了offset,mysql需要将读取位置移动到offset的位置,随着offset增大,取数据也越来越慢;
- 另外一种办法是:用数据流的方式取数据,这时需要设置:
- stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY,
- java.sql.ResultSet.CONCUR_READ_ONLY);
- stmt.setFetchSize(Integer.MIN_VALUE);
这时候,mysql jdbc driver,一行行的取结果集。
但这种方式有几个限制:
- 只能从该连接只能取完所有结果集后才能运行其他SQL;
- resultset.getRow(),是不支持的,调用会抛unsupportedException;
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------
我在使用该方法的时候出现过类似以下错误:
Caused by: java.sql.SQLException: Streaming result set com.mysql.jdbc.RowDataDynamic@5bdbda4f is still active.No statements may be issued when any streaming result sets are open and in use on a given connection.Ensure that you have called .close() on any active streaming result sets before attempting more queries.
原因就是违反了第一个限制,所以如果查询的数据集没有读取完,其他的sql操作都要另起一个connection。
0 0
- Mysql遍历大表(Mysql大量数据读取内存溢出的解决方法)
- mysql查询大量数据,php内存占用溢出问题
- jdbc查询大量数据内存溢出的解决方法
- phpExcel导出大量数据出现内存溢出错误的解决方法
- PHP查询MySQL大量数据的内存
- PHP查询MySQL大量数据的内存
- PHP查询MySQL大量数据的内存
- 你的wampserver下mysql占据大量内存的解决方法
- php查询mysql大量数据造成内存不足的解决方法
- C++操作MySQL大量数据插入效率低下的解决方法
- Java 从MySQL中读取大量数据
- PHP查询MySQL大量数据的内存占用分析
- PHP查询MySQL大量数据的内存占用分析
- PHP查询MySQL大量数据的内存占用分析
- PHP查询MySQL大量数据的内存占用分析
- PHP查询MySQL大量数据的内存占用分析 【转】
- PHP/MYSQL 查询大数据/遍历表
- php查询mysql大量数据占用大量内存导致内存不足
- Spiral Matrix -- LeetCode
- 论execSQL与executeInsert执行效率之差
- 解决一个小问题:git下载Kernel源码时只有.git\objects\pack目录下的.pack文件,而没有自动提取
- tomcat启动startup.bat一闪而过
- [2014-3-20]CreateProcess
- Mysql遍历大表(Mysql大量数据读取内存溢出的解决方法)
- sqoop2-1.99.2-cdh4.5.0依赖的所有jar包
- java中的字符串分割split函数
- 2014学习计划上
- [ASP.net初学者]数据库连接
- 安装sqoop-1.4.3-cdh4.5.0遇到找不到Sqoop类的异常
- 如何在C程序中处理汉字
- C# 窗口居中显示
- Request的getParameter和getAttribute方法的区别