技术中心

这里象征着我们的态度和能力

浅析Hibernate下数据批量处理方法
作者:中国IT实验室    来源:中国IT实验室    发布时间:2012-09-15      浏览次数:15462
分享到:
欢迎进入Java社区论坛,与200万技术人员互动交流 >>进入
    很多人都对Java在批量数据的处理方面是否是其合适的场所持有怀疑的念头,由此延伸,那么就会认为ORM可能也不是非凡适合数据的批量处理。其实,我想假如我们应用得当的话,完全可以消除ORM批量处理性能问题这方面的顾虑。下面以Hibernate为例来做为说明,假如我们真的不得不在 Java中使用Hibernate来对数据进行批量处理的话。 向数据库插入100 000条数据,用Hibernate可能像这样:
   
    Session session = sessionFactory.openSession();
   
    Transaction tx = session.beginTransaction();
   
    for ( int i=0; i<100000; i++ ) {
   
    Customer customer = new Customer(……);
   
    session.save(customer); }
   
    tx.commit();
   
    session.close();
   
    大概在运行到第50 000条的时候,就会出现内存溢出而失败。这是Hibernate把最近插入的Customer都以session-level cache在内存做缓存,我们不要忘记Hiberante并没有限制first-level cache 的缓存大小。
   
    ◆持久对象实例被治理在事务结束时,此时Hibernate与数据库同步任何已经发生变 化的被治理的的对象。
   
    ◆Session实现了异步write-behind,它答应Hibernate显式地写操作的批处理。 这里,我给出Hibernate如何实现批量插入的方法:
   
    首先,我们设置一个合理的JDBC批处理大小,hibernate.jdbc.batch_size 20. 然后在一定间隔对Session进行flush()和clear()。
   
    Session session = sessionFactory.openSession();
   
    Transaction tx = session.beginTransaction();
   
    for ( int i=0; i<100000; i++ ) {
   
    Customer customer = new Customer(……);
   
    session.save(customer);
   
    if ( i % 20 == 0 ) {
   
    //flush 插入数据和释放内存:
   
    session.flush(); session.clear(); }
   
    }
   
    tx.commit();
   
    session.close();
   
    那么,关于怎样删除和更新数据呢?那好,在Hibernate2.1.6或者更后版本,scroll() 这个方法将是最好的途径:
   
    Session session = sessionFactory.openSession();
   
    Transaction tx = session.beginTransaction();
   
    ScrollableResults customers = session.getNamedQuery(“GetCustomers”)
   
    .scroll(ScrollMode.FORWARD_ONLY);
   
    int count=0;
   
    while ( customers.next() ) {
   
    Customer customer = (Customer) customers.get(0);
   
    customer.updateStuff(…);
   
    if ( ++count % 20 == 0 ) {
   
    //flush 更新数据和释放内存:
   
    session.flush(); session.clear(); } }
   
    tx.commit(); session.close();
   
    这种做法并不困难,也不算不优雅。请注重,假如Customer启用了second-level caching ,我们仍然会有一些内存治理的问题。原因就是对于用户的每一次插入和更新,Hibernate在事务处理结束后不得不通告second-level cache .因此,我们在批处理情况下将要禁用用户使用缓存。
4000-880-989
(24小时热线)
联系客服
微信公众号

官方公众号

小程序

©2008-2022 CORPORATION ALL Rights Reserved. 昆明奥远科技有限公司版权所有 滇ICP备09003328号-1 滇公网安备 53011102000818号
昆明那家网络公司好,新媒体运营,网站优化,网络推广,网站建设,网页设计,网站设计,网站推广,云南网站公司,昆明新媒体公司,云南网红主播,昆明SEO公司,昆明网站建设,昆明网络推广,昆明网站优化,昆明网站推广,红河网站建设,大理网络公司,曲靖网络公司,丽江网站设计,昭通网络公司,保山大数据服务,智慧高速建设,智慧校园服务,云南IDC服务商,网络安全测评,等保测评,网站关键词排名优化服务,服务客户尽超2000余家,一切尽在奥远科技,服务电话:13888956730