EXCEL大数据导出(100W条)

来源:互联网 发布:线切割如何编程链轮 编辑:程序博客网 时间:2024/05/01 16:44

     EXCEL导出,如果说上了数十万条,那么走内存直接一次性导出相当的困难,我本地的内存调的相对较小,所以大概5-6万条就不行了,我在createCell加了一个输出语句,循环到5-6万条,就会非常非常慢,每次createCell一次,需要5-10S,后面会越来越慢。解决这种事情,一般的解决思路是,每次到一定量的数据就输出到一个文件,最后汇总成一个文件。POI提供了SXSSFWorkbook,判断一下,然后直接利用多态的思想,进行类的绑定,对于我们这些程序员来说还是非常方便的。

              Workbook  workbook;

   if(arlist.size()<50000){
    workbook = new XSSFWorkbook();
   }else{
    workbook = new SXSSFWorkbook();
   }

   将一定的两的数据输出到一个文件,最后汇总,当然这是有很多可以优化的地方,我看一下,POI的写法,它是压缩了文件,然后最后write的时候进行解压,如果不进行压缩直接进行读取,效率可能会更高,但是相对临时空间可能需要更大,下面是POI的write中调用InjectData的代码

   

  private void injectData(File zipfile, OutputStream out) throws IOException     {        ZipFile zip = new ZipFile(zipfile);        try        {            ZipOutputStream zos = new ZipOutputStream(out);            try            {                @SuppressWarnings("unchecked")                Enumeration<ZipEntry> en = (Enumeration<ZipEntry>) zip.entries();                while (en.hasMoreElements())                 {                    ZipEntry ze = en.nextElement();                    zos.putNextEntry(new ZipEntry(ze.getName()));                    InputStream is = zip.getInputStream(ze);                    XSSFSheet xSheet=getSheetFromZipEntryName(ze.getName());                    if(xSheet!=null)                    {                        SXSSFSheet sxSheet=getSXSSFSheet(xSheet);                        InputStream xis = sxSheet.getWorksheetXMLInputStream();                        try                        {                            copyStreamAndInjectWorksheet(is,zos,xis);                        }                        finally                        {                            xis.close();                        }                    }                    else                    {                        copyStream(is, zos);                    }                    is.close();                }            }            finally            {                zos.close();            }        }        finally        {            zip.close();        }    }

0 0
原创粉丝点击