您的位置：首页 > 数据库 > MySQL

绝对干货，教你4分钟插入1000万条数据到mysql数据库表，快快进来

2016-08-12 16:02 459 查看

我用到的数据库为，mysql数据库5.7版本的

1.首先自己准备好数据库表

其实我在插入1000万条数据的时候遇到了一些问题，现在先来解决他们，一开始我插入100万条数据时候报错，控制台的信息如下：

com.mysql.jdbc.PacketTooBigException:Packetforqueryistoolarge(4232009>4194304).Youcanchangethisvalueontheserverbysettingthemax_allowed_packet’variable.

出现上面的错误是因为数据库表的max_allowed_packet这个配置没配置足够大，因为默认的为4M的，后来我调为100M就没报错了

[code]setglobalmax_allowed_packet=100*1024*1024*
记住，设置好后重新登录数据库才能看的设置后的值

showVARIABLESlike'%max_allowed_packet%'

Java的jdbc代码如下：

packageinsert; importjava.sql.Connection; importjava.sql.DriverManager; importjava.sql.SQLException; importjava.util.Date; importcom.mysql.jdbc.PreparedStatement; publicclassInsertTest{ publicstaticvoidmain(String[]args)throwsClassNotFoundException,SQLException{ finalStringurl="jdbc:mysql://127.0.0.1/teacher"; finalStringname="com.mysql.jdbc.Driver"; finalStringuser="root"; finalStringpassword="123456"; Connectionconn=null; Class.forName(name);//指定连接类型 conn=DriverManager.getConnection(url,user,password);//获取连接 if(conn!=null){ System.out.println("获取连接成功"); insert(conn); }else{ System.out.println("获取连接失败"); } } publicstaticvoidinsert(Connectionconn){ //开始时间 Longbegin=newDate().getTime(); //sql前缀 Stringprefix="INSERTINTOt_teacher(id,t_name,t_password,sex,description,pic_url,school_name,regist_date,remark)VALUES"; try{ //保存sql后缀 StringBuffersuffix=newStringBuffer(); //设置事务为非自动提交 conn.setAutoCommit(false); //比起st，pst会更好些 PreparedStatementpst=(PreparedStatement)conn.prepareStatement("");//准备执行语句 //外层循环，总提交事务次数 for(inti=1;i<=100;i++){ suffix=newStringBuffer(); //第j次提交步长 for(intj=1;j<=100000;j++){ //构建SQL后缀 suffix.append("('"+uutil.UUIDUtil.getUUID()+"','"+i*j+"','123456'"+",'男'"+",'教师'"+",'www.bbk.com'"+",'XX大学'"+",'"+"2016-08-1214:43:26"+"','备注'"+"),"); } //构建完整SQL Stringsql=prefix+suffix.substring(0,suffix.length()-1); //添加执行SQL pst.addBatch(sql); //执行操作 pst.executeBatch(); //提交事务 conn.commit(); //清空上一次添加的数据 suffix=newStringBuffer(); } //头等连接 pst.close(); conn.close(); }catch(SQLExceptione){ e.printStackTrace(); } //结束时间 Longend=newDate().getTime(); //耗时 System.out.println("1000万条数据插入花费时间:"+(end-begin)/1000+"s"); System.out.println("插入完成"); } }

　　结果：

哈哈，1000万条数据288秒完成，是不是感觉超级牛逼，我每次插入10万条数据就提交一次事务，如果是一条一条差的话估计要好几个小时，网上有人试过时间浪费在数据库的连接上了，
后来我想测试插入100万条数据时候数据库引擎的差别
首先把代码中最外层的循环i=100改为i=10;
1.数据库引擎为MyISAM时：27s,这个我忘了截图了。因为我后来测试InnoDB的时候我换了一个表来测试，因为我发现改不了数据库表的引擎。。。。所以只能换一个表来测试

1.数据库引擎为InnoDB时：

用了77秒，比MyISAW慢了3倍左右，估计要是1000万条数据的时候更慢吧。。。

内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理

标签：

相关文章推荐

新的分享

章节导航