通用的高度可扩展的Excel导入实现（附Demo）

Demo源码

背景

　　通过程序将excel导入到数据库中是一项非常常见的功能。通常的做法是：先将excel转成DataTable，然后将DataTable转换成List<T>，最终通过List<T>导入进数据库。

　　同时，一般的ExcelUtil基类也会提供类似List<T> GetEntityListFromFile<T>(string fileName)的实现，但是这些实现一般都是机械化地对应，缺少一些自定义的操作。

问题

　　在我的开发过程中，就导入excel这一块就碰到了以下的一些问题：

　　excel中的列名可能不止一个（客户可能没有下载模板或者模板的版本不对，导致同一列可能有多个列名，例如【ID】和【编号】可能都对应实体类中的【ID】列）

　　excel中的列可能对应着实体类中的多个列（例如实体类中有【ID】、【Name】两个字段，而excel模板中只有【ID】，我们需要通过excel中的【ID】从数据库中找到Name值去填充实体类的【Name】）

　　需要对excel中某些数据的有效性做验证，包括但不限于“数据类型有效”，“数据在数据库中的存在性”，“数据在数据库中的状态有效”等等

　　需要对excel中的某些列进行自定义的映射（例如实体类和excel中都有【Status】，我们需要将excel中的【Status】写“1”和写“激活”的都填充实体类的【Status】为“1”）

　　以上这些问题，仅仅通过基类提供的方法是无法实现的，所以本篇文章提供一种高度自定义的Excel导入通过模块的实现，期以解决以上问题。

Demo程序结构概览

　　


　　


ps：要下班了，今日就先发这么多，

　　大家可以先下Demo看一下，功能都实现了，有问题可以大家一起交流，

　　如果大家想知道具体流程，我就再添加。

实现思路

　　首先，需要明确的是我们的需求：

使用c#技术，将excel导入到程序中，并以List<Entity>的形式进行存在

可以自定义excel的列名和Entity中属性的对应关系，支持excel中多个列名对应Entity中同一个属性，也支持Entity中的多个属性对应excel中的一个列名

可以自定义excel中列的值转换函数，假设excel中有“状态”列对应到Entity中的Status属性，在excel中的“状态”列中写【激活】或者【1】，最终都对应到Status的【true】

可以自定义excel中列的值有效性验证函数

　　接下来，就简要讲述一下以上功能的实现：

类【public class ImportUtil<Entity> where Entity : new()】实现了excel的导入功能，Entity为实体类类型

/// <summary>
/// 高度可扩展的excel导入 By Dean 20140320
/// 应用场景：1 需要支持实体类属性和excel中列的一对多关系 如excel中的列名是JHB、聚好币、PV时候，均认为映射到实体中的JHB字段
///2 需要支持实体类属性和excel中列的多对一关系 如excel中只包含“名称”列，有同时填充实体类的Code & Name属性时，可以将Code属性也对应到“名称”列，然后写一个转换函数，通过“名称”从DB中取出Code再映射
/// 功    能：1 可以自动剔除全部为空的行
///           2 能够自定义地设置将excel中的列映射到实体类上的哪个字段，以及映射的方法
///           3 能够对excel中的数据的有效性进行自定义的检查
/// </summary>
/// <typeparam name="Entity"></typeparam>
public class ImportUtil<Entity> where Entity : new()

ImportUtil类中有唯一的构造函数【public ImportUtil(Dictionary<string, string> allColumns)】

　　public ImportUtil(Dictionary<string, string> allColumns)
{
AllColumns = allColumns;
}

　　　　　　　//实体类列和excel列的对应关系
Dictionary<string, string> allColumns = new Dictionary<string, string>
{
{"ID","编号"},
{"StudentID","学生编号|学生ID"},{"StudentName","学生编号|学生ID"},
{"DisciplineID","学科编号"},{"DisciplineName","学科编号"},
{"Score","学科分数"},
{"MakeUpExamTime","补考日期"}
};

　　该构造函数传入参数allColumns，是一个Dictionary<string,string>类型的，该参数实现了需求2，字典的Key是实体类Entity中的【属性名称】，字典的Value是excel中的【列名称】，使用|来支持excel的多列名。

ImportUtil类中有唯一的对外公开的方法【public List<Entity> GetEntityList】

/// <summary>
/// 根据excel文件名获取实体类列表 《唯一向外部公开的接口》
/// </summary>
/// <param name="fileName">excel文件名</param>
/// <param name="errorInfo">导入过程中的任何错误信息都会放到这里面</param>
/// <param name="converterFields">需要进行预定义类型转换的列</param>
/// <param name="customConverts">需要进行自定义类型转换（key是实体类对应的列，value是包含excel中对应列的值和操作后的返回值的Func）</param>
/// <param name="dataValidateChecks">在进行excel列映射到实体类之前，对excel列中的值进行的预检查</param>
/// <returns>实体类列表</returns>
public List<Entity> GetEntityList(string fileName,
List<string> errorInfo,
Dictionary<KnownDataType, List<string>> converterFields = null,
Dictionary<string, Func<object, object>> customConverts = null,
Dictionary<string, Func<object, string>> dataValidateChecks = null)

　　该方法有5个输入参数，其中fileName和errorInfo是必输的，方法最终返回的就是我们所需要的List<Entity>，方法的执行过程就是先通过excel的地址将excel导入称为DataTable，然后将DataTable转换成List<T>，在转换的过程中进行数据的有效性验证和数据值的类型转换。

下面简单介绍一下这5个参数：

fileName，string，需要导入的excel的地址；

errorInfo，List<string>，导入过程中所发生的错误信息；

convertFields，Dictionary<KnownDataType,List<string>>，预定义的类型转换；excel中的列都是object类型的，而Entity中的属性却是强类型的，对于Int，Decimal，Double，DateTime已经定义好了相关的转换函数，仅需将Entity属性名称传入，在进行DataTable转List<Entity>时就能够将对应Column的值进行预定义的类型转换

　　         //预定义类型转换
Dictionary<KnownDataType, List<string>> convertFields = new Dictionary<KnownDataType, List<string>>
{
{KnownDataType.Int, new List<string> {"ID", "StudentID", "DisciplineID"}},
{KnownDataType.Double, new List<string> {"Score"}}
};

customConverts，Dictionary<string,Func<object,object>>，自定义的类型转换；预定义的类型转换通常只是将excel中的列转成对应的类型或者给个默认值，是通用的操作，但是我们常常需要对excel中的列进行自定义的转换，例如：excel中有“编号”列，设置同时对应到Entity的“ID”、“Name”属性，而“ID”属性可以直接使用预定义转换完成，“Name”列则需要通过“编号”从数据库中找到“Name”再赋值给“Name”。因此，这时候我们需要自定义的转换。写法如下：

//自定义类型转换
Dictionary<string, Func<object, object>> customConverts = new Dictionary<string, Func<object, object>>
{
{
"StudentName", currColumn =>
{
int studentID;
if (currColumn != null && int.TryParse(currColumn.ToString(), out studentID))
{
var r = DataPool.EntireStudents.Find(c => c.ID == studentID);
if (r != null)
{
return r.Name;
}
}
return string.Empty;
}
},
{
"MakeUpExamTime", currColumn =>
{
DateTime colDateTime;
if (currColumn != null && DateTime.TryParse(currColumn.ToString(), out colDateTime))
{
return colDateTime;
}
return null;
}
}
};

dataValidateChecks，Dictionary<string,Func<object,string>>，excel列的数据有效性验证，在Entity的每个属性的赋值之前都会先验证一下excel的数据是否有效，Key是要验证的属性的名字，Value是一个Func，输入参数就是excel的列值，返回的是string，验证通过时是string.Empty，验证不通过返回的是错误信息。写法如下：

//excel列的数据有效性验证 以下完成了对excel中编号列的值必须为整数且不为空的验证的设定
Dictionary<string,Func<object,string>> dataValidateChecks = new Dictionary<string, Func<object, string>>
{
{
"ID", currColumn =>
{
int idInt;
if (currColumn!=null&&int.TryParse(currColumn.ToString(),out idInt))
{
return string.Empty;
}
return "ID不能为空且必须为整数";
}
}
};

//执行excel导入
var res = importUtil.GetEntityList(excelPath, errors, convertFields, customConverts, dataValidateChecks);