使用web方式导入如果导入大量数据

来源:互联网 发布:股票形态软件 编辑:程序博客网 时间:2024/05/16 11:49

     在一些大型的可运行,可维护的系统中,经常需要具备大量导入数据的功能,而因为不同的应用,使用的方法和技术可能也不尽相同,下面,我从开发的几个项目中,来总结一些应该注意的方法和问题。

      1 使用同步的方式,该方式是,当导入数据的时候,就同步完成和导入相关的一切事情,该方式的优点是,可以在一次中,做完所有的导入工作,效果非常明显。
     但是缺点也非常明显,就是数据导入速度可能非常慢(一般导入数据后,需要做一些相应的处理)

    如果该导入中,不仅仅是涉及到一个DB,那么问题可能更复杂,因为不同的数据,一个使用hibernate进行持久化,另外一个数据库,使用JDBC连接,最后,因为这两种连接方式的不提交数据的机制不一样,非常容易出现,使用hibernate已经提交了,但是使用JDBC无法查询的现象。

  2 分步式处理,就是,导入数据,如果需要做3件事情,那么,第一步是写入到相应的table里面,第二步是把和他相关的数据,根据状态,发布到另外一个DB或者是需要进行处理,第三步是结果输出。在这样的一个导入流程中,我们使用分步的方式将是非常合理的,这样,用户在导入原始数据将会非常的块,并且,不会因为网络的延时或者DB的重负荷,出现失败的数据。
     使用该方式,必须合理的切分步骤,使得运行效率达到最优。

   

 

原创粉丝点击