Hibernate批量插入数据
2015-10-23 15:46
459 查看
一般如果要插入100万条数据,则会写如下代码:
[java] view
plaincopy
package org.xiazdong.test;
import junit.framework.TestCase;
import org.hibernate.Session;
import org.hibernate.SessionFactory;
import org.hibernate.Transaction;
import org.hibernate.cfg.Configuration;
import org.junit.Test;
import org.xiazdong.Person;
public class PersonTest extends TestCase{
@Test
public void testAdd(){
long begin = System.currentTimeMillis();
Configuration config = new Configuration();
config.configure();
SessionFactory factory = config.buildSessionFactory();
Session session = factory.openSession();
Transaction tx = session.beginTransaction();
for ( int i=0; i<1000000; i++ ) { //插入100万条数据
Person person = new Person("xiazdong-"+i,i+20);
session.save(person);
}
tx.commit();
session.close();
long end = System.currentTimeMillis();
System.out.println((end-begin)/1000.0);
}
}
此程序正常来说是会报错:
这是因为Hibernate默认会把没有提交的数据全部缓存,但是缓存是不能存入100万条数据的,因此会报错,我们怎么样能够解决呢?
我们可以通过每100个insert语句时,就强制刷入数据库,实现代码如下:
[java] view
plaincopy
package org.xiazdong.test;
import junit.framework.TestCase;
import org.hibernate.Session;
import org.hibernate.SessionFactory;
import org.hibernate.Transaction;
import org.hibernate.cfg.Configuration;
import org.junit.Test;
import org.xiazdong.Person;
public class PersonTest extends TestCase{
@Test
public void testAdd(){
long begin = System.currentTimeMillis();
Configuration config = new Configuration();
config.configure();
SessionFactory factory = config.buildSessionFactory();
Session session = factory.openSession();
Transaction tx = session.beginTransaction();
for ( int i=0; i<1000000; i++ ) { //插入100万条数据
Person person = new Person("xiazdong-"+i,i+20);
session.save(person);
if(i%100==0){ //每一千条刷新并写入数据库
session.flush();
session.clear();
}
}
tx.commit();
session.close();
long end = System.currentTimeMillis();
System.out.println((end-begin)/1000.0);
}
}
经过测试,花费时间为:148秒;
注:如果数据库在程序执行过程中记录数为0,是因为数据库为read commited,事务提交之后才能够数据。
当然,同样可以使用Hibernate配置来实现同样功能:
在hibernate.cfg.xml中插入:
[html] view
plaincopy
<property name="hibernate.jdbc.batch_size">50</property>//每50条语句提交一次
<property name="hiberante.cache.use_second_level_cache">false</property>//关闭二级缓存
[java] view
plaincopy
package org.xiazdong.test;
import junit.framework.TestCase;
import org.hibernate.Session;
import org.hibernate.SessionFactory;
import org.hibernate.Transaction;
import org.hibernate.cfg.Configuration;
import org.junit.Test;
import org.xiazdong.Person;
public class PersonTest extends TestCase{
@Test
public void testAdd(){
long begin = System.currentTimeMillis();
Configuration config = new Configuration();
config.configure();
SessionFactory factory = config.buildSessionFactory();
Session session = factory.openSession();
Transaction tx = session.beginTransaction();
for ( int i=0; i<1000000; i++ ) { //插入100万条数据
Person person = new Person("xiazdong-"+i,i+20);
session.save(person);
}
tx.commit();
session.close();
long end = System.currentTimeMillis();
System.out.println((end-begin)/1000.0);
}
}
此程序正常来说是会报错:
这是因为Hibernate默认会把没有提交的数据全部缓存,但是缓存是不能存入100万条数据的,因此会报错,我们怎么样能够解决呢?
我们可以通过每100个insert语句时,就强制刷入数据库,实现代码如下:
[java] view
plaincopy
package org.xiazdong.test;
import junit.framework.TestCase;
import org.hibernate.Session;
import org.hibernate.SessionFactory;
import org.hibernate.Transaction;
import org.hibernate.cfg.Configuration;
import org.junit.Test;
import org.xiazdong.Person;
public class PersonTest extends TestCase{
@Test
public void testAdd(){
long begin = System.currentTimeMillis();
Configuration config = new Configuration();
config.configure();
SessionFactory factory = config.buildSessionFactory();
Session session = factory.openSession();
Transaction tx = session.beginTransaction();
for ( int i=0; i<1000000; i++ ) { //插入100万条数据
Person person = new Person("xiazdong-"+i,i+20);
session.save(person);
if(i%100==0){ //每一千条刷新并写入数据库
session.flush();
session.clear();
}
}
tx.commit();
session.close();
long end = System.currentTimeMillis();
System.out.println((end-begin)/1000.0);
}
}
经过测试,花费时间为:148秒;
注:如果数据库在程序执行过程中记录数为0,是因为数据库为read commited,事务提交之后才能够数据。
当然,同样可以使用Hibernate配置来实现同样功能:
在hibernate.cfg.xml中插入:
[html] view
plaincopy
<property name="hibernate.jdbc.batch_size">50</property>//每50条语句提交一次
<property name="hiberante.cache.use_second_level_cache">false</property>//关闭二级缓存
相关文章推荐
- 如何在程序中调用Caffe做图像分类
- mysql+keepalived主从切换脚本 转
- sitemesh
- 电信近期有充值送红包的活动
- 求s=a+aa+aaa+aaaa+aa...a的值,输出结果有误
- poj3187 Backward Digit Sums
- java在windows和linux系统中通用的路径符号"//"
- struts2的值栈
- MHA的几种死法-叶良辰
- 音频基础(六)数字音频
- MongoDB 学习笔记一 CentOS下安装、使用、性能监测
- IP地址的分配
- Java的方法重载与变量作用域简介
- 像查看本地Oracle数据一样查看远程Oracle数据-----Oracle database link创建和使用
- hibernate 常用
- swift 多线程实现
- svn命令在linux下的使用
- 埃及分数题解[迭代加深搜索]
- 给一个10进制数,如何输出2进制数中1的个数?
- 过滤器和拦截器的区别