一起学习SSIS
2006-09-07 19:41
246 查看
最近在开发一个数据校验、转换的项目,使用的是Mirosoft的SQLServer 20005 Intergration Service - 简称SSIS,感觉到SSIS的功能的确很强大。通过自己的学习研究和咨询微软的MVP徐老师,熟悉了SSIS的使用方法并已经开发出成型可用的东西。
我在这里说一下我们通过SSIS完成的功能,如果各位也有类似的功能需求,可以借鉴此套解决方案。如在SSIS开发中遇到问题,可以与我联系。我们一起学习。
使用工具:Microsoft Visual Stuidio 2005, Microsoft SQLServer 2005,Intergraion Service.
技术:VB.NET,WebService,SQLServer 存储过程
系统运行流程:
1 B/S业务管理系统(WebLogic)通过页面接收到用户上传的源文件、用户输入的业务参数
2 B/S业务管理系统把用户上传的文件路径(一个或多个文件)、业务参数通过WebService(VB.NET编写)发送给ETL子系统(我负责的数据转换、校验系统)
3 ETL子系统接收到参数之后,通过TFTP去B/S业务管理系统服务器上获取需处理的源文件,下载到本地的一个目录。
4 VB.NET程序到数据表里查询预先定义好的配置信息,选择需要执行的DTS包(或称为SSIS包)路径,然后执行DTS包
5 DTS包中完成了对源文件(可以是DBF、EXCEL、TXT等)的校验和数值转换。符合业务规则的数据保存到一个标准格式的TXT,不符合业务规则的数据(例如:字段值为空,字段值没有对应标准值等)保存到错误清单。
6 把生成后的结果通过TFTP上传到B/S业务管理系统的服务器。
大致就是这个流程,其中还包含VB.NET程序对处理流程的细节控制以及DTS包中的细节处理,也许你会说:用××实现就能实现这个功能而且还简单,但是我想你的××工具不会像这个解决方案灵活。SSIS做数据ETL的数据整合还是很不错的。
有兴趣的程友可与我联系,一起学习讨论数据整合的相关技术。随着IT技术的发展,企业需要对企业内部的各业务系统的数据进行整合,也需要与其他企业的业务系统的数据进行整合,Microsoft BizTalk Server可以完成消息的整合,但是大数据量的ETL数据整合,用SSIS实现起来效果还是比较好的。
我在这里说一下我们通过SSIS完成的功能,如果各位也有类似的功能需求,可以借鉴此套解决方案。如在SSIS开发中遇到问题,可以与我联系。我们一起学习。
使用工具:Microsoft Visual Stuidio 2005, Microsoft SQLServer 2005,Intergraion Service.
技术:VB.NET,WebService,SQLServer 存储过程
系统运行流程:
1 B/S业务管理系统(WebLogic)通过页面接收到用户上传的源文件、用户输入的业务参数
2 B/S业务管理系统把用户上传的文件路径(一个或多个文件)、业务参数通过WebService(VB.NET编写)发送给ETL子系统(我负责的数据转换、校验系统)
3 ETL子系统接收到参数之后,通过TFTP去B/S业务管理系统服务器上获取需处理的源文件,下载到本地的一个目录。
4 VB.NET程序到数据表里查询预先定义好的配置信息,选择需要执行的DTS包(或称为SSIS包)路径,然后执行DTS包
5 DTS包中完成了对源文件(可以是DBF、EXCEL、TXT等)的校验和数值转换。符合业务规则的数据保存到一个标准格式的TXT,不符合业务规则的数据(例如:字段值为空,字段值没有对应标准值等)保存到错误清单。
6 把生成后的结果通过TFTP上传到B/S业务管理系统的服务器。
大致就是这个流程,其中还包含VB.NET程序对处理流程的细节控制以及DTS包中的细节处理,也许你会说:用××实现就能实现这个功能而且还简单,但是我想你的××工具不会像这个解决方案灵活。SSIS做数据ETL的数据整合还是很不错的。
有兴趣的程友可与我联系,一起学习讨论数据整合的相关技术。随着IT技术的发展,企业需要对企业内部的各业务系统的数据进行整合,也需要与其他企业的业务系统的数据进行整合,Microsoft BizTalk Server可以完成消息的整合,但是大数据量的ETL数据整合,用SSIS实现起来效果还是比较好的。
相关文章推荐
- 欢迎关注我的微信公众账号:Linux技巧(微信号:irefactoring),一起学习Linux知识~~~
- 生手和FinallyJane一起学习ASP.NET
- 共同学习一起提高
- 一起学习 一起进步
- 跟我一起,利用bitcms内容管理系统从0到1学习小程序开发:二、与服务端通信,Hello bitcms!
- 学习计划:SSIS
- 跟小博老师一起学习数据库 ——ACID规则
- 关于QQ群是linphone,Anychat 16721572,欢迎大家进来一起加入学习
- Makefile学习教程: 跟我一起写 Makefile
- 跟我一起学习MySQL技术内幕(第五版):(第一章学习日记2)
- 学习spring2--跟我一起学Spring 3(3)–使用Spring开发第一个HelloWorld应用
- 那些年一起学习的PHP(三)
- 一起学习用PHP读取文件的正确方法
- 跟小博老师一起学习数据库 ——存储过程
- 我们一起学习WCF 第七篇会话模式
- 一起学习设计模式
- 进程控制理论<一>---那些年我们一起学习linux程序设计
- 一起学mini2440裸机开发(四)--S3C2440定时器学习
- 一起学习CMake – 01
- 实例学习SSIS(三)--使用包配置