iBATIS.net:批量数据插入?
2010-03-07 15:59
471 查看
前言:本文标题有一个问号,带个问号的原因就是到本文写成为止“批量数据插入”依然是没有解决并困扰着楼猪的一个疑难问题。期待有研究iBatis透彻的高人看完本文后不吝赐教,绝非单单出于礼貌,真诚地谢谢了先。
一、问题来源
在楼猪做过的大大小小项目中,用iBatis.net实现的传统CRUD操作里,只能实现一条记录的插入操作,大多数情况下,这个也满足了项目需要,但是在大数据量的批量数据导入的情况下就有瓶颈。在数据量较大的情况下,如果还是一条一条数据插入,好比洪水暴发而堤坝只开了一个小小的泄水口,楼猪曾经测试过几十万条数据的插入,等的那叫一个销魂,而且要处理的数据较长时间占据内存,影响整体处理性能。
由于数据库服务器限制,在“直接调用ssis包实现Sql Server的数据导入功能”无法使用后,楼猪google了网上用iBatis批量插入的文章。在google的结果上草草看了几页,赫然发现就是那么两篇在转来转去,而且还是在java下的iBatis结合Spring共同实现的。楼猪不禁怀疑难道是自己老眼昏花看错了,抑或是有人写好了隐藏很深等待考古发掘或是科学发现呢?
二、批量插入的变通解决方案
鉴于常见插入都是针对单表的,本文的示例延续使用“iBATIS.net获取运行时sql语句”中的Person表来讲解。
1、批量数据插入
既然没看到iBatis.net有现成的类库可实现批量导入,再次祭出杀手锏,查找ado.net下的批量数据操作。这一次资料就灰常的丰富和全面了。在常见的几种解决方案中,楼猪选择了看上去非常简洁而且效率也不低的SqlBulkCopy对象的实现方式,间接实现了iBatis.net的数据导入:
(1)、基类中两个虚方法
代码
using System;
using System.Collections.Generic;
using System.Data;
using System.Reflection;
namespace IBatisNetApp.DAL.Common
{
using IBatisNetApp.DAL.Model;
public class DataTableHelper
{
private static IList<string> CreateModelProperty<T>(T obj) where T : class
{
IList<string> listColumns = new List<string>();
BindingFlags bf = BindingFlags.Instance | BindingFlags.NonPublic | BindingFlags.Public | BindingFlags.Static;
Type objType = typeof(T);
PropertyInfo[] propInfoArr = objType.GetProperties(bf);
foreach (PropertyInfo item in propInfoArr)
{
object[] objAttrs = item.GetCustomAttributes(typeof(TableColumnAttribute), true);
if (objAttrs != null && objAttrs.Length > 0)//取出实体对应表的实际列名
{
listColumns.Add(item.Name);
}
}
return listColumns;
}
private static DataTable CreateTable(IList<string> listColumns)
{
DataTable dt = new DataTable();
for (int i = 0; i < listColumns.Count; i++)
{
dt.Columns.Add(new DataColumn(listColumns[i]));
}
return dt;
}
public static DataTable CreateTable<T>(IList<T> listModels) where T : class
{
T model = default(T);
IList<string> listProperties = CreateModelProperty<T>(model);
DataTable dataTable = CreateTable(listProperties);
BindingFlags bf = BindingFlags.Instance | BindingFlags.NonPublic | BindingFlags.Public | BindingFlags.Static;
Type objType = typeof(T);
PropertyInfo[] propInfoArr = objType.GetProperties(bf);
foreach (T itemModel in listModels)
{
DataRow dataRow = dataTable.NewRow();
foreach (PropertyInfo item in propInfoArr)
{
string propName = item.Name;
if (listProperties.Contains(propName))
{
object value = item.GetValue(itemModel, null);
dataRow[propName] = value;
}
}
dataTable.Rows.Add(dataRow);
}
return dataTable;
}
}
}
必须注意,datatable里的列名顺序不限,但是列名必须对应实际表里的列(datatable里的列可以少于等于实际表里的列,但是不能大于)。示例中Person实体的TableColumn特性就是为了让属性和表的列名匹配,否则,实体继承的一些不是实际表的属性字段也会映射到表里,这样就会发生“给定的 ColumnMapping 与源或目标中的任意列均不匹配”的异常。
2、批量数据插入并获取所有新插入的自增Id
其实这个是在问题1的基础上延伸的一个问题。楼猪想了一个笨拙的解决方案,思路就是,将要插入的大数据量的泛型List(设有count项)第一项先单独插入,返回一个自增id设为firstId,然后按照1里的解决方案(有事务的那种,不带事务的话,结果就不是有偏差那么简单了,很可能错的非常离谱),批量插入剩余的count-1项,插入成功后,我们可以断定批量插入的数据Id的范围为firstId<=Id<firstId+count。
ps,在实际的执行环境中,楼猪还是觉得这个非常不靠谱,一定要慎用。哎,懒得贴代码了。
最后,期待高手给出iBATIS.net的批量数据操作的完美解决方案。
【补充】高手你在哪里,顶上去啊?
demo下载:IBatisNetApp
一、问题来源
在楼猪做过的大大小小项目中,用iBatis.net实现的传统CRUD操作里,只能实现一条记录的插入操作,大多数情况下,这个也满足了项目需要,但是在大数据量的批量数据导入的情况下就有瓶颈。在数据量较大的情况下,如果还是一条一条数据插入,好比洪水暴发而堤坝只开了一个小小的泄水口,楼猪曾经测试过几十万条数据的插入,等的那叫一个销魂,而且要处理的数据较长时间占据内存,影响整体处理性能。
由于数据库服务器限制,在“直接调用ssis包实现Sql Server的数据导入功能”无法使用后,楼猪google了网上用iBatis批量插入的文章。在google的结果上草草看了几页,赫然发现就是那么两篇在转来转去,而且还是在java下的iBatis结合Spring共同实现的。楼猪不禁怀疑难道是自己老眼昏花看错了,抑或是有人写好了隐藏很深等待考古发掘或是科学发现呢?
二、批量插入的变通解决方案
鉴于常见插入都是针对单表的,本文的示例延续使用“iBATIS.net获取运行时sql语句”中的Person表来讲解。
1、批量数据插入
既然没看到iBatis.net有现成的类库可实现批量导入,再次祭出杀手锏,查找ado.net下的批量数据操作。这一次资料就灰常的丰富和全面了。在常见的几种解决方案中,楼猪选择了看上去非常简洁而且效率也不低的SqlBulkCopy对象的实现方式,间接实现了iBatis.net的数据导入:
(1)、基类中两个虚方法
代码
using System;
using System.Collections.Generic;
using System.Data;
using System.Reflection;
namespace IBatisNetApp.DAL.Common
{
using IBatisNetApp.DAL.Model;
public class DataTableHelper
{
private static IList<string> CreateModelProperty<T>(T obj) where T : class
{
IList<string> listColumns = new List<string>();
BindingFlags bf = BindingFlags.Instance | BindingFlags.NonPublic | BindingFlags.Public | BindingFlags.Static;
Type objType = typeof(T);
PropertyInfo[] propInfoArr = objType.GetProperties(bf);
foreach (PropertyInfo item in propInfoArr)
{
object[] objAttrs = item.GetCustomAttributes(typeof(TableColumnAttribute), true);
if (objAttrs != null && objAttrs.Length > 0)//取出实体对应表的实际列名
{
listColumns.Add(item.Name);
}
}
return listColumns;
}
private static DataTable CreateTable(IList<string> listColumns)
{
DataTable dt = new DataTable();
for (int i = 0; i < listColumns.Count; i++)
{
dt.Columns.Add(new DataColumn(listColumns[i]));
}
return dt;
}
public static DataTable CreateTable<T>(IList<T> listModels) where T : class
{
T model = default(T);
IList<string> listProperties = CreateModelProperty<T>(model);
DataTable dataTable = CreateTable(listProperties);
BindingFlags bf = BindingFlags.Instance | BindingFlags.NonPublic | BindingFlags.Public | BindingFlags.Static;
Type objType = typeof(T);
PropertyInfo[] propInfoArr = objType.GetProperties(bf);
foreach (T itemModel in listModels)
{
DataRow dataRow = dataTable.NewRow();
foreach (PropertyInfo item in propInfoArr)
{
string propName = item.Name;
if (listProperties.Contains(propName))
{
object value = item.GetValue(itemModel, null);
dataRow[propName] = value;
}
}
dataTable.Rows.Add(dataRow);
}
return dataTable;
}
}
}
必须注意,datatable里的列名顺序不限,但是列名必须对应实际表里的列(datatable里的列可以少于等于实际表里的列,但是不能大于)。示例中Person实体的TableColumn特性就是为了让属性和表的列名匹配,否则,实体继承的一些不是实际表的属性字段也会映射到表里,这样就会发生“给定的 ColumnMapping 与源或目标中的任意列均不匹配”的异常。
2、批量数据插入并获取所有新插入的自增Id
其实这个是在问题1的基础上延伸的一个问题。楼猪想了一个笨拙的解决方案,思路就是,将要插入的大数据量的泛型List(设有count项)第一项先单独插入,返回一个自增id设为firstId,然后按照1里的解决方案(有事务的那种,不带事务的话,结果就不是有偏差那么简单了,很可能错的非常离谱),批量插入剩余的count-1项,插入成功后,我们可以断定批量插入的数据Id的范围为firstId<=Id<firstId+count。
ps,在实际的执行环境中,楼猪还是觉得这个非常不靠谱,一定要慎用。哎,懒得贴代码了。
最后,期待高手给出iBATIS.net的批量数据操作的完美解决方案。
【补充】高手你在哪里,顶上去啊?
demo下载:IBatisNetApp
相关文章推荐
- IBatis.Net 批量插入数据
- IBatis.Net 批量插入数据
- ibatis 的批量插入 批量更新数据
- sqllite与sqlserver在.net中相互之间得数据批量插入
- ibatis 批量插入数据
- 我的.Net学习之路六——快速的批量插入数据
- .NET 批量插入数据,先查后插,性能优化
- ibatis.net 按实体insert数据,批量insert,同时解决ON DUPLICATE KEY
- ibatis 对数据批量插入方法
- IBatis 批量插入数据之SqlBulkCopy
- IBatis 批量插入数据
- IBatis.Net 批量插入数据
- 批量插入数据 C# SqlBulkCopy使用
- 表变量及临时表数据批量插入和更新 写法
- 在.NET中使用XML、读取XML文件,插入数据到XML文档中。
- 用SQL存储过程实现批量插入数据
- 点评 ibatis+oracle 批量插入的三种方法.
- ibatis配置(mysql数据库) 批量新增数据
- C# 将DataTable表中的数据批量插入到数据库表中的方法
- SQLServer 批量插入数据的两种方法