在集群上支持数据库大数据量导出

 

80w行的数据导出

数据库表（经过程序处理）导出一般使用EXCEL文件，技术一般有POI、JXL、FastExcel。但是当文件过大（几十个字段，行数超过200,000）的时候，往往会出现内存溢出OutOfMemery,这个是应用无非承受的。

对于导出这么大量的数据，一般没有实时性的要求，也没有外观的要求。

业务部分的需求一般是：导出80W行数据，不管是什么，最后能变化成EXCEL即可。

解决方案：直接导出成TXT的格式，再由EXCEL打开，这样一般能满足业务的需求。

涉及的技术，压缩、并发等技术还要跟集群结合。

压缩：直接将txt压缩成RAR文件，没有什么难度。

并发：我们在后台起一个线程或者几个线程来运行一段程序，操作数据的任务表。（可以是单台机器操作）。

任务处理：直接在数据库建立任务表。

 

基本的结构如下所示：

1. 用户的一个下载请求，传到这个服务器，服务器再传到第一台服务器。
2. 第一台服务器向DB的任务表中插入一个条任务信息。
3. 当第一台服务器启动的时候，启动一个线程，定时去查看DB中有没有任务。
4. 如果有任务，则 处理，从底层BO中取得需要的数据。
5. 直接写入文件file.txt中,再将压缩成file.rar文件
6. 在页面展示一个下载中心,用户可以下载文件、也可以删除文件，甚至可以查看当然的下载任务的处理剩余时间。

 

file.rar必须挂在存储上，多台服务器共享。

 

 

压缩源码(核心部分):

public static final String FILE_STYLE = ".rar";public static final String CODE = "ISO8859_1";public static BigDecimal compressedFiles(File file) throws IOException {File f = new File(file.getPath() + FILE_STYLE);compress(file, f);file.delete();return new BigDecimal(f.length() / (1024 * 1024 * 1.0));}public static void compress(File file, File ff) throws IOException {FileOutputStream f = new FileOutputStream(ff);CheckedOutputStream csum = new CheckedOutputStream(f, new CRC32());ZipOutputStream out = new ZipOutputStream(new BufferedOutputStream(csum));out.setComment("压缩的文件，文件是txt的");BufferedReader in = new BufferedReader(new InputStreamReader(new FileInputStream(file), CODE));out.putNextEntry(new ZipEntry(file.getName()));int c;while ((c = in.read()) != -1)out.write(c);out.flush();out.close();in.close();f.close();csum.close();}

NotepadRender:

private static final Log log = LogFactory.getLog(NotepadRender.class);private static final String TAB = "/t";private static final String ENTER = "/n";private static final int ONE_SHEET_COUNT = 100;public NotepadRender() {}/** * 文件存储 压缩文件 * * @param data * @param file * @param isEnd * @return * @throws IOException * @throws InterruptedException */public java.math.BigDecimal trans(List<Object> data, File file,boolean isEnd) throws IOException, InterruptedException {if (data != null&&data.size()!=0) {StringBuffer sb = new StringBuffer(100 * 1000);boolean flag = false;if (!file.exists()) {file.createNewFile();CreateHead(data.get(0), sb);flag = true;}FileOutputStream out = new FileOutputStream(file, true);BufferedOutputStream buff = new BufferedOutputStream(out);if (flag) {buff.write(sb.toString().getBytes());buff.flush();}int len = data.size();sb.delete(0, sb.length());for (int k = 0; k < len; k++) {if (k != 0 && (k % ONE_SHEET_COUNT) == 0) {buff.write(sb.toString().getBytes());buff.flush();sb.delete(0, sb.length());Thread.sleep(0);}createRow(data.get(k), sb);}buff.write(sb.toString().getBytes());buff.flush();out.close();buff.close();sb = null;}// rename && file.getName().startsWith("pj")if (isEnd) {return CompressedFilesUtil.compressedFiles(file);}Thread.sleep(0);return BigDecimal.ZERO;}public void CreateHead(Object data, StringBuffer sb) {SelfDescribeDo data2 = (SelfDescribeDo) data;MetaData mt = data2.getMeta();String[] cns = mt.getDisplayColumns();int i = 0;for (; i < cns.length - 1; i++) {String key = cns[i];Object value = mt.getColumnLabel(key);sb.append(value + TAB);}String key = cns[i];Object value = mt.getColumnLabel(key);sb.append(value + ENTER);}public void createRow(Object data, StringBuffer sb) {if (data instanceof SelfDescribeDo == true) {SelfDescribeDo data2 = (SelfDescribeDo) data;MetaData mt = data2.getMeta();String[] cns = mt.getDisplayColumns();for (int i = 0; i < cns.length; i++) {Object svalue = null;String key = cns[i];Object value = data2.get(key);if (value == null)value = "";if (mt.isNeedConvert(key)) {svalue = mt.getConvertValue(key, value);} else {svalue = value;}svalue = ChangeOtherTypeToString(svalue);if (i == cns.length - 1) {sb.append(svalue + ENTER);} else {sb.append(svalue + TAB);}}} else {Map data2 = (Map) data;int i = 0;for (Object key : data2.keySet()) {Object value = data2.get(key);if (value == null)value = "";i++;}}}public static String ChangeOtherTypeToString(Object value) {String str = "";if (value == null) {str = "";} else if (value instanceof Date) {// m/d/yy h:mmstr = DateUtil.formatDateByStyle((Date) value,"yyyy-MM-dd HH:mm:ss");} else if (value instanceof Integer) {// #,##0NumberFormat nf1 = NumberFormat.getInstance();str = nf1.format((Integer) value);} else if (value instanceof Double) {NumberFormat nf1 = NumberFormat.getInstance();nf1.setMaximumFractionDigits(2);nf1.setMinimumFractionDigits(2);str = nf1.format((Double) value);// #,##0.00} else if (value instanceof BigDecimal) {NumberFormat nf1 = NumberFormat.getInstance();nf1.setMaximumFractionDigits(2);nf1.setMinimumFractionDigits(2);str = nf1.format((BigDecimal) value);// #,##0.00} else if (value instanceof String) {value = ((String) value).replace("/"", "/"/"");if (((String) value).contains("/n")) {value = "/"" + value + "/"";}str = value.toString();}return str;}