大数据导出2
来源:互联网 发布:福建广电网络集团待遇 编辑:程序博客网 时间:2024/04/30 04:13
经过几天的折腾,终于把这个顽固的工程做完了,现在60万数据40秒导出到本地。
尝试了很多的办法,现在放上最优秀的做法供参考。
第一,优化数据表,加上相应的索引,分区。
第二,读库操作。分多线程,采用ThreadPool。
第三,导出操作,(1)采用Aspose.cells(2)采用多文件方式,要么以记录行数分割,要么以关键字分割。(3)友好的用户等待界面。
代码涉及公司利益,先暂时不上代码了,思路就是这样。利用npoi也能实现,只是outofmemory这个异常不好捕获,我们这个数据量太大,所以改用apose.cells组件,功能的确很强大,单独运行时,都能在四五十秒内完成导出动作,这款组件还是值得研究的。
0 0
- 大数据导出2
- 大数据导出excel
- JAVAExecel大数据导出
- POI 大数据导出
- 大数据EXCEL高效导出
- 大数据量导出Excel数据
- 大数据导出Excel方法
- poi 大数据导出测试
- EXCEL大数据数据库导出
- 大数据导出报错
- Oracle 大数据导入导出
- java大数据导出excel
- poi导出excel (大数据)
- 大数据量数据导出excle
- jxl导出Excel大数据
- 大数据导出到excel
- MySQL大数据导出导入
- php导出大数据csv
- 【51nod】1384 全排列 next_permutation
- 【系统相关】配置path环境变量打开软件
- struct用法及其构建网络传输报文
- int数据转byte,byte转int数据,用于一周7天的时间用0和1表示
- AmqpTemplate-简介
- 大数据导出2
- Numpy中array的where使用
- Linux Shell 日期格式
- #######用python做数据分析4|pandas库介绍之DataFrame基本操作#######
- jquery
- SpringMVC + spring3.1.1 + hibernate4.1.0 集成及常见问题总结
- redis 配置远程链接
- Java 异常分类及统一处理
- 字符数组 与 字符串