Hibernate下数据批量处理解决方案
来源:互联网 发布:浙江省网络图书馆 编辑:程序博客网 时间:2024/04/30 07:59
很多人都对Java在批量数据的处理方面是否是其合适的场所持有怀疑的念头,由此延伸,那么就会认为ORM可能也不是特别适合数据的批量处理。 其实,我想如果我们应用得当的话,完全可以消除ORM批量处理性能问题这方面的顾虑。下面以Hibernate为例来做为说明,假如我们真的不得不在Java中使用Hibernate来对数据进行批量处理的话。 向数据库插入100 000条数据,用Hibernate可能像这样:
Session session = sessionFactory.openSession();
Transaction tx = session.beginTransaction();
for ( int i=0; i<100000; i++ ) {
Customer customer = new Customer(.....);
session.save(customer); }
tx.commit();
session.close();
大概在运行到第50 000条的时候,就会出现内存溢出而失败。这是Hibernate把最近插入的Customer都以session-level cache在内存做缓存,我们不要忘记Hiberante并没有限制first-level cache 的缓存大小:
# 持久对象实例被管理在事务结束时,此时Hibernate与数据库同步任何已经发生变 化的被管理的的对象。
# Session实现了异步write-behind,它允许Hibernate显式地写操作的批处理。 这里,我给出Hibernate如何实现批量插入的方法:
首先,我们设置一个合理的JDBC批处理大小,Hibernate.jdbc.batch_size 20。 然后在一定间隔对Session进行flush()和clear()。
Session session = sessionFactory.openSession();
Transaction tx = session.beginTransaction();
for ( int i=0; i<100000; i++ ) {
Customer customer = new Customer(.....);
session.save(customer);
if ( i % 20 == 0 ) {
//flush 插入数据和释放内存:
session.flush(); session.clear(); }
}
tx.commit();
session.close();
那么,关于怎样删除和更新数据呢?那好,在Hibernate2.1.6或者更后版本,scroll() 这个方法将是最好的途径:
Session session = sessionFactory.openSession();
Transaction tx = session.beginTransaction();
ScrollableResults customers = session.getNamedQuery("GetCustomers")
.scroll(ScrollMode.FORWARD_ONLY);
int count=0;
while ( customers.next() ) {
Customer customer = (Customer) customers.get(0);
customer.updateStuff(...);
if ( ++count % 20 == 0 ) {
//flush 更新数据和释放内存:
session.flush(); session.clear(); } }
tx.commit(); session.close();
这种做法并不困难,也不算不优雅。请注意,如果Customer启用了second-level caching ,我们仍然会有一些内存管理的问题。原因就是对于用户的每一次插入和更新,Hibernate在事务处理结束后不得不通告second-level cache 。因此,我们在批处理情况下将要禁用用户使用缓存。
<script type="text/javascript"><!--google_ad_client = "pub-2947489232296736";/* 728x15, 创建于 08-4-23MSDN */google_ad_slot = "3624277373";google_ad_width = 728;google_ad_height = 15;//--></script><script type="text/javascript"src="http://pagead2.googlesyndication.com/pagead/show_ads.js"></script>- Hibernate下数据批量处理解决方案
- Hibernate下数据批量处理解决方案
- Hibernate下数据批量处理解决方案
- Hibernate下数据批量处理解决方案
- Hibernate下数据批量处理解决方案
- Hibernate下数据批量处理解决方案
- Hibernate下数据批量处理解决方案
- Hibernate下数据批量处理解决方案
- Hibernate下数据批量处理解决方案
- Hibernate下数据批量处理
- 浅析Hibernate下数据批量处理方法
- 浅析Hibernate下数据批量处理方法
- 浅析Hibernate下数据批量处理方法
- 浅析Hibernate下数据批量处理方法
- hibernate批量处理数据
- Hibernate 批量处理数据
- hibernate批量处理数据
- hibernate 批量处理数据
- JDBC-ODBC桥
- FLASH工具的秘密——SWF2EXE
- 高级的TreeView控件
- J2ME 2D小游戏入门之实现爆炸
- 如何得到应用程序的运行时间
- Hibernate下数据批量处理解决方案
- 处理鼠标移出事件
- 深入理解MIDP低层用户界面API
- 让Real Player从你的电脑走开
- 10分钟Hibernate体验
- MCI Command String全览——完全参数篇(1)
- SunONE Studio5开发MIDP程序
- MCI Command String总览—完全参数篇(6)
- MySQL安全问题(匿名用户)的一点心得