大数据导出2

来源:互联网 发布:福建广电网络集团待遇 编辑:程序博客网 时间:2024/04/30 04:13

经过几天的折腾,终于把这个顽固的工程做完了,现在60万数据40秒导出到本地。

尝试了很多的办法,现在放上最优秀的做法供参考。

第一,优化数据表,加上相应的索引,分区。

第二,读库操作。分多线程,采用ThreadPool。

第三,导出操作,(1)采用Aspose.cells(2)采用多文件方式,要么以记录行数分割,要么以关键字分割。(3)友好的用户等待界面。

代码涉及公司利益,先暂时不上代码了,思路就是这样。利用npoi也能实现,只是outofmemory这个异常不好捕获,我们这个数据量太大,所以改用apose.cells组件,功能的确很强大,单独运行时,都能在四五十秒内完成导出动作,这款组件还是值得研究的。

0 0
原创粉丝点击