用Java控制SQL进行一些简单的处理（改进版）

针对之前存在的问题，现在做出了改进。对于2个经常要查询的表，制定了propertyblock类和propertycontrol类，propertyblock类里3个数组，分别存放名字，id和活跃度。propertycontrol里则有一个37*37的二维数组，共1369个propertyblock类作为入口（为什么是37*37呢，26个字母+10个数字+其他字符）为了加快查找速度，每次得到一个新的名字，就会根据前2个字符进行分类，调入相应入口进行处理。总的来讲，这么做是为了把需要频繁查找的2个表搬到内存里，免去了频繁与数据库连接耗去的大量时间。另外还在写入数据的时候使用了addBatch()和executeBatch()这一对指令，批量处理写入请求，加快了时间。
这次因为使用了自定义类，相应的结构和使用代码需要自己写，所以比较复杂，为了方便起见分成了3个类，分别是propertycontrol,propertyblock,以及javaConSQL类。经过改进以后，现在处理360W行只需要3分钟左右。如果是处理跟插入连在一起的话，则需要30分钟左右。
下面是代码

peropertyblock代码：

package databasetest;public class propertyblock {    //类的属性    public String[] name ;    public int[] id;    public int[] activ;    public int currentindex;  //表示待插入的数的位置    public int storage ;    public propertyblock next;    //类的方法    public propertyblock(){ //构造函数1        name=new String[10] ; //默认是10个一组        id=new int[10] ;        activ=new int[10];        currentindex=0 ;        storage=10;        next=null ;    }    public propertyblock(int storage){ //构造函数2        name=new String[storage] ; //默认是10个一组        id=new int[storage] ;        activ=new int[storage];        currentindex=0 ;        this.storage=storage ;        next=null ;    }    public void insert(String name,int id,int activ){  //插入函数        this.name[currentindex]=name;        this.id[currentindex]=id;        this.activ[currentindex]=activ ;        currentindex++;    }    public boolean isFull(){        if (currentindex>=storage) return true;        else return false;    }    public boolean isEmpty(){        if (currentindex==0) return true;        else return false ;    }    public int find(String name){   //查找函数        int count=0 ;        while (count<currentindex){            if (this.name[count].equals(name)){                 this.activ[count]++ ;   //活跃度+1                return this.id[count] ;            }            else count++ ;        }        return -1;     }}

propertycontrol代码

package databasetest;public class propertycontrol {    public propertyblock[][] index ; //26+10+1 共计37个propertyblock数组    public int id;    public propertycontrol(){        id=0 ; //当前设定的id        index=new propertyblock[37][37];  //此处要记住 自定义类数组的初始化方法，如果没有下面循环，则报错Java.lang.NullPointerException        for(int i=0;i<37;i++){            for(int j=0;j<37;j++)                index[i][j]=new propertyblock() ; //37数组初始化        }    }    public int deal(String name){        int guide;        int guide_b ;        int resultid;        int returnid;        //分配入口        guide=name.charAt(0);        if ((guide>=97)&&(guide<=122)) guide=guide-97 ;  //0-25        else if ((guide>=65)&&(guide<=90)) guide=guide-65 ;        else if ((guide>=48)&&(guide<=57)) guide=guide-22 ;//26-35        else guide=36;        if (name.length()>1){            guide_b=name.charAt(1);            if ((guide_b>=97)&&(guide_b<=122)) guide_b=guide_b-97 ;  //0-25            else if ((guide_b>=65)&&(guide_b<=90)) guide_b=guide_b-65 ;            else if ((guide_b>=48)&&(guide_b<=57)) guide_b=guide_b-22 ;//26-35            else guide_b=36;        }        else guide_b=36 ;        propertyblock currentblock=index[guide][guide_b];  //起始当前块        while (true){            resultid=currentblock.find(name);            if (resultid==-1){ //如果当前块找不到                if (currentblock.next==null){ //如果所有块已找完                    if (currentblock.isFull()){ //如果当前块已满                        propertyblock temp=new propertyblock();                        temp.insert(name, id, 1);                        returnid=id ;                        id++;                        currentblock.next=temp;                        currentblock=temp;                        break;                    }                    else{                        currentblock.insert(name, id, 1);                        returnid=id;                        id++;                        break ;                    }                }                else                    currentblock=currentblock.next;            }            else{ //如果在当前块找到了                returnid=resultid;                break;            }        }        return returnid;    }    /*    public static void main(String[] args){        propertycontrol a=new propertycontrol();        a.deal("adfadfa");        a.deal("dbdfdfdf");        a.deal("Alfjlaksf");        a.deal("Ddkljlwe");        a.deal("123ljlkdf");        a.deal("-alsdjf");        a.deal("adfadfa");        a.deal("adfadfadfdf");        System.out.println(a.id);    }    */}

javaConSQL类代码

package databasetest;import java.sql.*;public class javaConSQL{    public static void main(String[] args) {        String JDriver="com.microsoft.sqlserver.jdbc.SQLServerDriver";//SQL数据库引擎        String connectDB="jdbc:sqlserver://127.0.0.1:1433;DatabaseName=multiangle";//数据源        try{            Class.forName(JDriver);//加载数据库引擎，返回给定字符串名的类        }catch(ClassNotFoundException e){ //e.printStackTrace();            System.out.println("加载数据库引擎失败");            System.exit(0);        }             System.out.println("数据库驱动成功");        try{            String query ;            String user="sa";            String password="admin";            Connection con=DriverManager.getConnection(connectDB,user,password);//连接数据库对象            System.out.println("连接数据库成功");            Statement stmt=con.createStatement();//创建SQL命令对象            Statement stmt_initial=con.createStatement(); //用作插入用            int bookid,userid;            System.out.println("删除旧的initial");            query="drop table initial";            stmt_initial.executeUpdate(query);            System.out.println("开始创建initial数据库");            query="create table initial(row int,bookid int,bookname varchar(50),userid int,username varchar(50),score int);";            stmt_initial.executeUpdate(query);            System.out.println("开始读取数据");            query="select *,row_number() over (order by bookname) as row from dbo.douban";            //query="select *,row_number() over (order by bookname) as row from dbo.douban where username='eastwolf'";            ResultSet rs=stmt.executeQuery(query); //返回SQL语句查询结果集(集合)            propertycontrol reader=new propertycontrol();            propertycontrol book=new propertycontrol();            int batchcount=0 ;            while(rs.next()){                bookid=book.deal(rs.getString("bookname"));                userid=reader.deal(rs.getString("username"));                if (batchcount>1000) {                    stmt_initial.executeBatch();                    batchcount=0;                    System.out.println("在第"+rs.getInt("row")+"行的时候执行了一次写入");                }                else{                    query="insert into dbo.initial (row,bookid,bookname,userid,username,score) values ("+rs.getInt("row")+','+bookid+",'"+rs.getString("bookname")+"',"+userid+",'"+rs.getString("username")+"',"+Integer.parseInt(rs.getString("score"))+");";                    stmt_initial.addBatch(query);                    batchcount++;                }                //System.out.println(query) ;  //测试用                if (batchcount>0)stmt_initial.executeBatch();                 //将寻找到的再加上处理过的数值插入initial表                //System.out.println("line "+rs.getInt("row")+" is dealed");            }            //关闭连接            stmt.close();//关闭命令对象连接            stmt_initial.close();            System.out.println("initial表填写完毕") ;            System.out.println("The num of reader is "+reader.id);            System.out.println("The num of book is "+book.id);            //进行user_table和book的填写            Statement stmt_book=con.createStatement(); //创建book查询对象            Statement stmt_user=con.createStatement() ;  //创建user查询对象            System.out.println("删除旧的user_table");            query="drop table user_table";            stmt_user.executeUpdate(query);            System.out.println("开始创建user_table数据库");            query="create table user_table(username varchar(50),userid int,useractiv int);";            stmt_user.executeUpdate(query);            batchcount=0 ;            int detect_book=0,detect_user=0 ;            for(int i=0;i<37;i++){                for(int j=0;j<37;j++){                    propertyblock current=reader.index[i][j];                    while(true){                        for(int k=0;k<current.currentindex;k++){                            detect_user++;                            if (batchcount>1000){                                stmt_user.executeBatch();                                batchcount=0;                            }                            else{                                query="insert into user_table values ('"+current.name[k]+"',"+current.id[k]+','+current.activ[k]+");";                                stmt_user.addBatch(query);                                batchcount++;                            }                           }                        //处理当前块的打印                        if (current.next==null) break;                        else current=current.next ;                    }                }            }            if (batchcount>0)stmt_user.executeBatch();             System.out.println(detect_user+" users is inserted into user_table");            batchcount=0;            System.out.println("删除旧的book");            query="drop table book";            stmt_book.executeUpdate(query);            System.out.println("开始创建book数据库");            query="create table book(bookname varchar(50),bookid int,bookactiv int)";            stmt_book.executeUpdate(query);            for(int i=0;i<37;i++){                for(int j=0;j<37;j++){                    propertyblock current=book.index[i][j];                    while(true){                        for(int k=0;k<current.currentindex;k++){                            detect_book++ ;                            if (batchcount>1000){                                stmt_book.executeBatch() ;                                batchcount=0;                            }                            else{                                query="insert into book values ('"+current.name[k]+"',"+current.id[k]+','+current.activ[k]+");";                                stmt_book.addBatch(query);                                batchcount++;                            }                           }                        //处理当前块的打印                        if (current.next==null) break;                        else current=current.next ;                    }                }            }            if (batchcount>0) stmt_book.executeBatch();            System.out.println(detect_book+" books is inserted into book table");            stmt_user.close();            stmt_book.close();            con.close();//关闭数据库连接        }        catch(SQLException e){            e.printStackTrace();            //System.out.println("数据库连接错误");            System.exit(0);        }    }}