记一次Mock100万数据到数据库遇到的问题

背景

需要Mock100万数据到数据库。

逐条插入

如果一条一条的插入，模拟1000条，花费了8秒，100万的话，大约花费3个小时，太慢。

批量插入

问题出现

1000条一次进入插入。

consoleLogger.info("This Batch, {}, Time start : {}", batchTotal, s);
orderMapper.batchInsert(orderList);
consoleLogger.info("This Batch, {}, Time elapsed : {}", batchTotal, System.currentTimeMillis() - s);

按照理论，应该比逐条快很多，但是，结果花费了14秒，非常奇怪，开始查找原因。

求助Google

看到两篇有价值的帖子：

http://www.cnblogs.com/aicro/p/3851434.html

http://blog.jobbole.com/85657/

试着改成100条一个批次，很神奇，1000条数据插入，10个循环，总计60毫秒就完成了。难道用MyBatis操作MySQL数据库的批量操作，对于10条一批和1000条一批，性能差别这么大？

不可理解，本着根本上解决问题的思路，继续追根溯源。

加Log

<logger name="org.mybatis.spring" additivity="true" level="${logger_level}">
<appender-ref ref="serviceAppender" />
</logger>
<logger name="org.apache.mybatis" additivity="true" level="${logger_level}">
<appender-ref ref="serviceAppender" />
</logger>

打出一些日志，但是没有参考价值。

Debug

于是Debug，一直跟下去，跟了很久，终于在这里发现问题。

public static String showSql(Configuration configuration, BoundSql boundSql) {
String sql = boundSql.getSql().replaceAll("[\\s]+", " ");
try{
Object parameterObject = boundSql.getParameterObject();
List<ParameterMapping> parameterMappings = boundSql.getParameterMappings();
if (parameterMappings.size() > 0 && parameterObject != null) {
TypeHandlerRegistry typeHandlerRegistry = configuration.getTypeHandlerRegistry();
if (typeHandlerRegistry.hasTypeHandler(parameterObject.getClass())) {
sql = sql.replaceFirst("\\?", getParameterValue(parameterObject));
} else {
MetaObject metaObject = configuration.newMetaObject(parameterObject);
for (ParameterMapping parameterMapping : parameterMappings) {
String propertyName = parameterMapping.getProperty();
if (metaObject.hasGetter(propertyName)) {
Object obj = metaObject.getValue(propertyName);
sql = sql.replaceFirst("\\?", getParameterValue(obj));
} else if (boundSql.hasAdditionalParameter(propertyName)) {
Object obj = boundSql.getAdditionalParameter(propertyName);
sql = sql.replaceFirst("\\?", getParameterValue(obj));
}
}
}
}
}catch (Exception e){
logger.error("showSql invoke error:{}",e);
}
return sql;
}

原来数据库的批量插入操作，很快就完成返回了，然后，我们自己工程中写的慢查询拦截器，对于超过300毫秒，会有拦截处理，把?替换成参数值，大约到Log里面，这个过程非常慢。

于是临时注释掉这个代码，测试了一下，批量插入非常快了，并且是批量插入的行数越多，越快。

为什么批量快

批量执行效率高的主要原因是合并后日志量（MySQL的binlog和innodb的事务）减少了，降低日志刷盘的数据量和频率，从而提高效率。

通过合并SQL语句，同时也能减少SQL语句解析的次数，减少网络传输的IO。

为什么这个方法慢

String是Immutable，因为对于批量 parameterMappings很多，几万个，于是反复进行String.replaceFirst，每次执行这个操作，都会复制一份新的字符串，于是内存复制了几万个次，于是就很慢了。

解决办法，用Parttern和Match，这种方式，在内存只会产生一个备份，然后就会从头到尾替换下去，经测试，性能果然提高很多，不再是14秒，只是几百毫秒。

public static String showSql(Configuration configuration, BoundSql boundSql) {
String sql = boundSql.getSql().replaceAll("[\\s]+", " ");
StringBuffer sqlBuilder = new StringBuffer();
try{
Pattern pattern = Pattern.compile("\\?");
Matcher matcher = pattern.matcher(sql);

Object parameterObject = boundSql.getParameterObject();
List<ParameterMapping> parameterMappings = boundSql.getParameterMappings();
if (parameterMappings.size() > 0 && parameterObject != null) {
TypeHandlerRegistry typeHandlerRegistry = configuration.getTypeHandlerRegistry();
if (typeHandlerRegistry.hasTypeHandler(parameterObject.getClass())) {
if(matcher.find()) {
matcher.appendReplacement(sqlBuilder, getParameterValue(parameterObject));
}
} else {
MetaObject metaObject = configuration.newMetaObject(parameterObject);
for (ParameterMapping parameterMapping : parameterMappings) {
String propertyName = parameterMapping.getProperty();
if (metaObject.hasGetter(propertyName)) {
Object obj = metaObject.getValue(propertyName);
if(matcher.find()) {
matcher.appendReplacement(sqlBuilder, getParameterValue(obj));
}
} else if (boundSql.hasAdditionalParameter(propertyName)) {
Object obj = boundSql.getAdditionalParameter(propertyName);
if(matcher.find()) {
matcher.appendReplacement(sqlBuilder, getParameterValue(obj));
}
}
}
}
}
matcher.appendTail(sqlBuilder);
}catch (Exception e){
logger.error("showSql invoke error:{}",e);
}
return sqlBuilder.toString();
}

然后，进一步，又通过对于某些不想被拦截的SQL，头部增加/*NoMonitor*/的方式，避免进行字符串处理。

于是问题彻底解决，插入100万数据，10000条一个批次，大约需要6分钟。

如果不是MySQL呢

向所有的持久化存储插入数据，批量都会比逐条快得多。

我过去试过的Solr和Redis，大约是几十倍的差别。

其他如ES、Mongo之类，应该也差不多，有空可以写代码试验一下。