jdbc批处理大数据
2016-07-22 09:04
465 查看
在捕获保存那里,遇到一个问题,对于百万数据,就是效率问题,保存太慢,客户受不了,所以必须提高效率,下面就是提高效率的方法
提高效率的方法有两种:
1.使用存储过程(直接操作数据库)
2.使用批处理提高数据库
1.使用存储过程(直接操作数据库)
存储过程代码示例:
int age = 39;
String poetName = "dylan thomas";
CallableStatement proc = connection.prepareCall("{ call set_death_age(?, ?) }"); //加入存储过程名称
proc.setString(1, poetName);
proc.setInt(2, age);
cs.execute();
2.使用批处理提高数据库
l业务场景:当需要向数据库发送一批SQL语句执行时,应避免向数据库一条条的发送执行,而应采用JDBC的批处理机制,以提升执行效率。
l实现批处理有两种方式,第一种方式:
•Statement.addBatch(sql)
l执行批处理SQL语句
•executeBatch()方法:执行批处理命令
•clearBatch()方法:清除批处理命令
Connectionconn =null;
Statementst =null
d662
;
ResultSetrs =null;
try {
conn =JdbcUtil.getConnection();
String sql1 = "insert into user(name,password,email,birthday)
values('kkk','123','abc@sina.com','1978-08-08')";
String sql2 = "update user set password='123456' where id=3";
st =conn.createStatement();
st.addBatch(sql1); //把SQL语句加入到批命令中
st.addBatch(sql2); //把SQL语句加入到批命令中
st.executeBatch();
}finally{
JdbcUtil.free(conn,st,rs);
}
l采用Statement.addBatch(sql)方式实现批处理:
•优点:可以向数据库发送多条不同的SQL语句。
•缺点:
•SQL语句没有预编译。
•当向数据库发送多条语句相同,但仅参数不同的SQL语句时,需重复写上很多条SQL语句。例如:
Insert into user(name,password)
values(‘aa’,’111’);
Insert into user(name,password) values(‘bb’,’222’);
Insert into user(name,password) values(‘cc’,’333’);
Insert into user(name,password) values(‘dd’,’444’);
l实现批处理的第二种方式:
•PreparedStatement.addBatch()
conn =JdbcUtil.getConnection();
Stringsql = "insert into user(name,password,email,birthday)
values(?,?,?,?)";
st =conn.prepareStatement(sql);
for(inti=0;i<50000;i++){
st.setString(1, "aaa"
+ i);
st.setString(2, "123" +i);
st.setString(3, "aaa"
+ i + "@sina.com");
st.setDate(4,new Date(1980,
10, 10));
st.addBatch();
if(i%1000==0){
st.executeBatch();
st.clearBatch();
}
}
st.executeBatch();
l采用PreparedStatement.addBatch()实现批处理
•优点:发送的是预编译后的SQL语句,执行效率高。
•缺点:只能应用在SQL语句相同,但参数不同的批处理中。因此此种形式的批处理经常用于在同一个表中批量插入数据,或批量更新表的数据。
提高效率的方法有两种:
1.使用存储过程(直接操作数据库)
2.使用批处理提高数据库
1.使用存储过程(直接操作数据库)
存储过程代码示例:
int age = 39;
String poetName = "dylan thomas";
CallableStatement proc = connection.prepareCall("{ call set_death_age(?, ?) }"); //加入存储过程名称
proc.setString(1, poetName);
proc.setInt(2, age);
cs.execute();
2.使用批处理提高数据库
l业务场景:当需要向数据库发送一批SQL语句执行时,应避免向数据库一条条的发送执行,而应采用JDBC的批处理机制,以提升执行效率。
l实现批处理有两种方式,第一种方式:
•Statement.addBatch(sql)
l执行批处理SQL语句
•executeBatch()方法:执行批处理命令
•clearBatch()方法:清除批处理命令
Connectionconn =null;
Statementst =null
d662
;
ResultSetrs =null;
try {
conn =JdbcUtil.getConnection();
String sql1 = "insert into user(name,password,email,birthday)
values('kkk','123','abc@sina.com','1978-08-08')";
String sql2 = "update user set password='123456' where id=3";
st =conn.createStatement();
st.addBatch(sql1); //把SQL语句加入到批命令中
st.addBatch(sql2); //把SQL语句加入到批命令中
st.executeBatch();
}finally{
JdbcUtil.free(conn,st,rs);
}
l采用Statement.addBatch(sql)方式实现批处理:
•优点:可以向数据库发送多条不同的SQL语句。
•缺点:
•SQL语句没有预编译。
•当向数据库发送多条语句相同,但仅参数不同的SQL语句时,需重复写上很多条SQL语句。例如:
Insert into user(name,password)
values(‘aa’,’111’);
Insert into user(name,password) values(‘bb’,’222’);
Insert into user(name,password) values(‘cc’,’333’);
Insert into user(name,password) values(‘dd’,’444’);
l实现批处理的第二种方式:
•PreparedStatement.addBatch()
conn =JdbcUtil.getConnection();
Stringsql = "insert into user(name,password,email,birthday)
values(?,?,?,?)";
st =conn.prepareStatement(sql);
for(inti=0;i<50000;i++){
st.setString(1, "aaa"
+ i);
st.setString(2, "123" +i);
st.setString(3, "aaa"
+ i + "@sina.com");
st.setDate(4,new Date(1980,
10, 10));
st.addBatch();
if(i%1000==0){
st.executeBatch();
st.clearBatch();
}
}
st.executeBatch();
l采用PreparedStatement.addBatch()实现批处理
•优点:发送的是预编译后的SQL语句,执行效率高。
•缺点:只能应用在SQL语句相同,但参数不同的批处理中。因此此种形式的批处理经常用于在同一个表中批量插入数据,或批量更新表的数据。
相关文章推荐
- JAX-WS HandlerChain使用详解
- 云计算的三种服务模式 (IaaS SaaS PaaS)
- 移动大数据时代最IN编程语言必读书单
- 移动大数据时代最IN编程语言必读书单
- HDU5319 Painter【DFS】
- 2016 Multi-University Training Contest 2
- hdfs 通过NFSV3 加载至本地目录
- 大数据学习--java基础--二进制有关
- Spark将HDFS数据导入到HBase
- 最近的人工智能计算工作
- Spark 读取HDFS存入 HBase(1.0.0 新 API)
- 人工智能计算
- LintCode_516 Paint House II
- LeetCode 172. Factorial Trailing Zeroes
- LeetCode 219. Contains Duplicate II
- Leetcode Contains Duplicate III
- EasyDarwin开源流媒体云平台中boost Base64编解码后与源长度不匹配的bug
- 大数据:从入门到XX(七)
- CodeForces Gym 100646H You’ll be Working on the Railroad DFS
- 【ChinaVis2016】会议第一天