Oracle数据库数据导出XML，Blob字段处理

概括：

上周2月26日提出的需求，为了外网数据迁移到内网需要编写Oracle数据导出导入程序。马大哈提出了思路，使用XML格式存储数据。

在27号进行了尝试，能将数据导出为XML格式，数据库的Blob字段转为String类型写入XML文件中。之后发现导入程序在读取XML文件是报错，错误提示不符合XML文件格式。原因是XML文件中Blob转为String在文件中显示乱码，乱码字符干扰读取。

在3月3号（昨天），换了种导出导入方法，写Java程序运行exp命令进行导出，导出dmp文件，可以完成导入导出功能，但是需要程序运行的机器安装Oracle客户端，而且可能会出现由于操作错误，重复导入的情况。

今天主要重新对27号方法进行了改进尝试，马大哈和我对于导出程序的Blob字段处理函数做了修改，想法是讲Blob字段的数据流直接转为byte数组，之后将byte数组存入XML文件中，最终可以进行导出，导出程序能够解析XML文件内容，同时写入数据库后，数据同源数据相同，无丢失。目前导出导入一条线能够走通，导入程序需要进一步添加功能。（写于3月4号）

出现的问题：

3月6号加入了导出数据文件压缩打包，导入程序中需要判断数据是否已导入，所以需要加入select语句查询数据库，由于数据量稍大，出现了超过最大游标数量的错误。7号想了一个主意，在根据文件夹读取文件的方法中连接数据库，之后每读50条关闭重连数据库，能够保证不报错。但是不知道这种方式是否符合正常设计规范。

不知道在批量循环查询这种情况有什么方法能够不出现超过最大游标数的错误，还在寻找。。。

目前程序基本能够完成数据导入导出任务，而形成可复用的程序还需进一步改进。

数据导出代码：

package com.expdata;import java.io.File;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.FileWriter;import java.io.IOException;import java.io.InputStream;import java.nio.charset.Charset;import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.ResultSetMetaData;import java.sql.SQLException;import java.sql.Statement;import java.util.ArrayList;import java.util.HashMap;import java.util.HashSet;import java.util.LinkedList;import java.util.List;import java.util.Map;import java.util.Set;import java.util.zip.ZipEntry;import java.util.zip.ZipOutputStream;import oracle.sql.BLOB;import org.apache.axis.utils.StringUtils;import org.dom4j.Document;import org.dom4j.DocumentHelper;import org.dom4j.Element;import org.dom4j.io.OutputFormat;import org.dom4j.io.XMLWriter;//导出数据存入XMLpublic class ReadDb{public Connection conn = DBUtil.getConnection();public CompressBook book = new CompressBook();public int k = 0;private static final String HTMLFILEPATH="C:/htmldatafile/";private static final String IMGFILEPATH="C:/imgdatafile/";private static final String HTMLTABLE = "TB_CDPF_RADAR_HTML";private static final String IMGTABLE = "TB_CDPF_RADAR_IMG";public static String ConvertBLOBtoString(oracle.sql.BLOB BlobContent) {StringBuffer strB = new StringBuffer("");try {InputStream  is = BlobContent.getBinaryStream();int i = 0;List<byte[]> bytelist = new LinkedList<byte[]>();byte[] bytes = new byte[1024];int len = is.read(bytes);while(len!=-1){bytelist.add(bytes);bytes = new byte[1024];len = is.read(bytes);}for(byte[] tempbytes : bytelist){for (byte b : tempbytes) {strB.append(b+" ");}}is.close();} catch (Exception e) {e.printStackTrace();return null;}return strB.toString();}public String readDbtoXmlHTML() {// 连接数据库String sql = "select * from "+HTMLTABLE+" where ISEXP=0";String updateSql = "update "+HTMLTABLE+" set ISEXP=1 where IR_SID=?";ResultSet result = DBUtil.executeQuery(sql, conn);//List<File> htmlfiles = new LinkedList<File>();try {if(!new File(HTMLFILEPATH).exists()){new File(HTMLFILEPATH).mkdir(); }ResultSetMetaData resultSetMetaData = result.getMetaData();int columnCount = resultSetMetaData.getColumnCount();Element[] elements = new Element[columnCount];String[]  elmentNames = new String[columnCount];for(int i=0;i<columnCount;i++){elmentNames[i] = resultSetMetaData.getColumnName(i+1);}Set<String> hkeys = new HashSet<String>();// Element studyInfo=document.addElement("studyInfo");// 当有值时查询int ctrlBatchNumber = 0;PreparedStatement pstmt = conn.prepareStatement(updateSql);while (result.next()) {// 增加每个节点Document document = DocumentHelper.createDocument();Element cdpfRadarHtmlInfo = DocumentHelper.createElement("CdpfRadarHtmlInfo");document.setRootElement(cdpfRadarHtmlInfo);Element cdpfRadarHtml = cdpfRadarHtmlInfo.addElement("cdpfRadarHtml");hkeys.add(result.getString("IR_HKEY"));pstmt.setString(1, String.valueOf(result.getLong("IR_SID")));pstmt.addBatch();ctrlBatchNumber++;for(int i=0;i<columnCount;i++){elements[i] = cdpfRadarHtml.addElement(elmentNames[i]);if((i+1)==29 || (i+1)==30 || (i+1) == 39){BLOB blob = (BLOB) result.getBlob(i+1);elements[i].setText(ConvertBLOBtoString(blob));}else{if(null==result.getString(i+1)){elements[i].setText("");}else{elements[i].setText(result.getString(i+1));}}}XMLWriter write = new XMLWriter(new FileOutputStream(new File(HTMLFILEPATH+"html"+String.valueOf(ctrlBatchNumber)+"-sid"+String.valueOf(result.getLong("IR_SID"))+".xml") ) );write.write(document);write.close();//htmlfiles.add(new File(//HTMLFILEPATH+"html"+String.valueOf(ctrlBatchNumber)+"-sid"+String.valueOf(result.getLong("IR_SID"))+".xml"));if(ctrlBatchNumber%100==0){pstmt.executeBatch();//System.out.println(hkeys.size());System.out.println("html表导出完成100条！");if(hkeys.size()!=0){readDbtoXmlIMG(hkeys.toString().replace("[", "").replace("]", ""));hkeys.clear();}}}if(ctrlBatchNumber==0){return "没有可以导出的数据！"; }//System.out.println(hkeys.size());pstmt.executeBatch();if(hkeys.size()!=0){readDbtoXmlIMG(hkeys.toString().replace("[", "").replace("]", ""));hkeys.clear();}System.out.println("完成！");//book.zip(HTMLFILEPATH, HTMLFILEZIP, false);book.zip(HTMLFILEPATH);deleteDir(new File(HTMLFILEPATH));//book.zip(IMGFILEPATH, IMGFILEZIP, false);book.zip(IMGFILEPATH);deleteDir(new File(IMGFILEPATH));//return hkeys.toString().replace("[", "").replace("]", "");return "导出完成！";} catch (Exception e) {e.printStackTrace();return "导出出错，错误信息："+e.getMessage();}}public void readDbtoXmlIMG(String hkeys) {// 连接数据库String sql = "select * " +   "from "+IMGTABLE+" " +   "where IR_HKEY in ("+hkeys+")";//System.out.println(sql);ResultSet result = DBUtil.executeQuery(sql, conn);//List<File> imgfiles = new LinkedList<File>();if(!new File(IMGFILEPATH).exists()){new File(IMGFILEPATH).mkdir(); }try {// 查询数据ResultSetMetaData resultSetMetaData = result.getMetaData();int columnCount = resultSetMetaData.getColumnCount();Element[] elements = new Element[columnCount];String[]  elmentNames = new String[columnCount];for(int i=0;i<columnCount;i++){elmentNames[i] = resultSetMetaData.getColumnName(i+1);}while (result.next()) {// 增加每个节点Document document = DocumentHelper.createDocument();Element cdpfRadarIMGInfo = DocumentHelper.createElement("CdpfRadarIMGInfo");document.setRootElement(cdpfRadarIMGInfo);Element cdpfRadarIMG = cdpfRadarIMGInfo.addElement("cdpfRadarIMG");for(int i=0;i<columnCount;i++){elements[i] = cdpfRadarIMG.addElement(elmentNames[i]);if((i+1)==7){BLOB blob = (BLOB) result.getBlob(i+1);elements[i].setText(ConvertBLOBtoString(blob));}else{if(null==result.getString(i+1)){elements[i].setText("");}else{elements[i].setText(result.getString(i+1));}}}k++;XMLWriter write = new XMLWriter(new FileOutputStream(new File(IMGFILEPATH+"img"+String.valueOf(k)+".xml")));write.write(document);write.close();System.out.println("img表已导出"+k+"条");} catch (Exception e) {e.printStackTrace();}}public void expData(){ReadDb r = new ReadDb();r.readDbtoXmlHTML();DBUtil.closeConnection(r.conn);} private static boolean deleteDir(File dir) {if (dir.isDirectory()) {String[] children = dir.list();for (int i = 0; i < children.length; i++) {boolean success = deleteDir(new File(dir, children[i]));if (!success) {return false;}}}// 目录此时为空，可以删除return dir.delete();}public static void main(String[] args){ReadDb r = new ReadDb();r.expData();}}

数据导入代码：

目前还无注释，需进一步更新注释，完善为可复用程序代码会更新。（写于3月7号）

3月9号更新：完善了部分代码，可以将导出的数据压缩为zip文件，之后导入可以直接读取zip压缩文件中的内容，然后写入数据库中。导入导出程序添加servlet可以做成web服务器上运行的小系统。

3月28日更新：导出程序在本周三（3月25）做了修改。Oracle数据库查询中in后面的数据不能超过一千个，超过会报错。于是将程序改为html表每导出100条，开始导出img表中相关的数据。

可复用程序根据目前的程序来写已经越来越困难。。。