Java jdbc批量多线程读取CVS文件入库性能优化篇

在写完上一篇文章之后，在使用过程中慢慢发现一些问题，比如说数据入库很慢，10W的数据分10个文件入库大概需要两三分钟，如下图

这是我忍受不了的，所以我寻思着如何优化该程序，提高入库性能。因此我对JDBC数据入库的几种方法做了一个对比，在大量的实验下，发现了如下的规律：

1、使用statement耗时最长;
2、使用PreparedStatement耗时明显缩短;
3、使用PreparedStatement + 批处理耗时暂时耗时最少。

针对我的小程序，入库的表所需要的字段有上百个，我懒得去拼字符串，于是就选择Statement+批处理来处理，关键代码如下：

if(conn == null) {     conn = dbutil.getConnection();}pre = conn.createStatement();conn.setAutoCommit(false);while (line_record != null) {    if(line_record.indexOf("cdrid") != -1) {        line_record = buf.readLine();        continue;    }    // 解析每一条记录    sql = "INSERT IGNORE INTO " + tablename + " VALUES('";    String[] fields = line_record.split(DELIMITERS);   //对Insert语句的合法性进行判断   if(fields.length != colCount){       line_record = buf.readLine();       System.out.println("要插入的数据列数和表的数据列不相匹配，停止执行");       continue;   }   for (int i = 0; i < fields.length; i++) {       sql += fields[i];       if (i < fields.length - 1) {           sql += "','";       }   }   sql += "');";   // 在控制台输出SQL语句//                System.out.println(sql);   //执行SQL语句   pre.addBatch(sql);   rowCount++;   line_record = buf.readLine();   if (rowCount >= rc) {       break;   } }pre.executeBatch();conn.commit();pre.close();

然而程序入库的效率并没有显著的提高，最后，我在批量执行500条Sql的时候提交一次，代码如下：

if(rowCount % 500 == 0) {   pre.executeBatch();    conn.commit();//  pre.clearBatch();}

这里的数字是自己定的，根据Java虚拟机大小来设定不同的值，这里的clearBatch()执行不执行都可以，在设定为100的时候，效率如下：

回顾本文最开始10W条数据分十个文件入库，效率明显提升了不少。