ETL编程模型(场景)
2014-06-26 02:27
260 查看
使用场景:
ETL是一个处理过程。
多个数据源之间进行数据同步
1:n:一对多同步数据
n:1:多个数据源到一个目的段
m;n:多个数据源多个目的段
==================================================================
ETL仅仅时对数据的一种采集,存储到ODS或者DW,降低OLTP系统的压力
本质就是一个抽取工具
原理:管道机制Channel
==================================================================
1.ETL:数据抽取
2.抽取数据在不同的数据源之间,把数据进行转化,加载,清洗操作,保证抽取的数据合法。
3.开源实现:Kettle 工具
====================================================================
学习:
大家可以学学这个Kettle 工具,通过借鉴这个工具,我们可以自己设计自己的ETL过程,工具很好用,官方自带一些例子:ata-integration\samples。
在项目开发中,尤其是BI项目里面,ETL是必备的数据工具。(可以借鉴Kettle的模型进行二次开发,目前的项目就是这么使用的)
======================================================================
ETL是一个处理过程。
多个数据源之间进行数据同步
1:n:一对多同步数据
n:1:多个数据源到一个目的段
m;n:多个数据源多个目的段
==================================================================
ETL仅仅时对数据的一种采集,存储到ODS或者DW,降低OLTP系统的压力
本质就是一个抽取工具
原理:管道机制Channel
==================================================================
1.ETL:数据抽取
2.抽取数据在不同的数据源之间,把数据进行转化,加载,清洗操作,保证抽取的数据合法。
3.开源实现:Kettle 工具
====================================================================
学习:
大家可以学学这个Kettle 工具,通过借鉴这个工具,我们可以自己设计自己的ETL过程,工具很好用,官方自带一些例子:ata-integration\samples。
在项目开发中,尤其是BI项目里面,ETL是必备的数据工具。(可以借鉴Kettle的模型进行二次开发,目前的项目就是这么使用的)
======================================================================
相关文章推荐
- BPM编程模型(场景)
- 流式计算strom,Strom解决的问题,实现实时计算系统要解决那些问题,离线计算是什么,流式计算什么,离线和实时计算区别,strom应用场景,Strorm架构图和编程模型(来自学习资料)
- 缓存编程模型(场景)
- MapReduce 2.0应用场景和原理、基本架构和编程模型
- 【Hadoop入门学习系列之四】MapReduce 2.0应用场景和原理、基本架构和编程模型
- ESB的编程模型(场景)
- 通过 Visual C++ 的编程模型和编译器优化增强您的应用程序
- Microsoft 用于构建面向服务的应用程序的统一编程模型------Indigo简介
- [ASP.NET 教程] 三. Web Forms编程模型
- 游戏中如何加载人物,场景模型
- .Net中的事件(Event)编程模型
- 实例解析SOCKET编程模型-客户端
- VS2005将支持的两种WEB编程模型的比较
- 场景中移动模型
- ARM应用系统开发详解:第2章 ARM微处理器的编程模型
- 2.Windows 编程模型
- sps编程模型中打开站点的几种方法
- 实例解析SOCKET编程模型
- 续实例解析SOCKET编程模型之异步通信篇-客户端
- 实例解析SOCKET编程模型-服务器