数据抽取清洗转换加载工具ETL
2018-01-10 09:33
363 查看
应用场景
当你想通过工具,从一个数据库将数据进行清洗后搬迁到另一个数据库,那么就可以通过ETL的数据抽取清洗转换加载工具来操作。操作步骤
1. 工具下载
kettle文件下载,解压即可用:下载地址
2. 配置
首先我们了解下Epoint-DI能做什么?一般我在项目中数据抽取一般都是自己写定时任务,通过quartz或者其他任务调度框架来定时从数据源中抽取数据,所有有关数据的抽取、校验、转换等过程都是在代码中手工编写,针对不同的数据源都是需要手动来编写代码,然后重新发布数据抽取程序。但是通过DI就可以实现配置的方式来创建定任务调度,数据的抽取、校验、转换等过程。并且支持多种数据的输入、输出方式,有完善的过滤组件,数据处理组件等。
简单的数据推送
创建一个输入组件、一个输出组件即可。负责抽取和插入数据。
表输入:
表输出:
相关文章推荐
- 数据抽取、清洗与转换BI项目中ETL设计
- BI项目中的ETL设计详解(数据抽取、清洗与转换 )
- BI项目中的ETL设计详解(数据抽取、清洗与转换)
- BI项目中的ETL设计详解(数据抽取、清洗与转换 )
- BI项目中的ETL设计详解(数据抽取、清洗与转换 )(转载)
- 数据抽取、清洗与转换 BI项目中ETL设计
- 数据提取、转换和加载 - ETL工具
- ETL,Extraction-Transformation-Loading的缩写,中文名称为数据抽取、转换和加载 转帖
- 数据仓库应用(二):数据抽取、转换、加载(ETL)
- 30分钟内加载1TB 的数据——SSIS打破商业ETL工具的记录
- SqlServer ETL 数据抽取工具SSIS之环境搭建
- 数据抽取,转换,加载
- ETL:数据的抽取、转换和装载
- 数据仓库的ETL抽取-转换-装载
- ETL工具kettle怎么进行增量数据抽取:一、通过标志位
- Fresoar Data Manager 数据抽取工具(ETL)
- ETL工具kettle怎么实现增量数据抽取:二 时间戳
- oracle下的sqlldr命令使用方法(sqlldr工具的使用(批量将文本文件数据加载到数据表))
- ArcGIS中最强大的数据读取转换工具(ArcGIS Data Interoperability)
- 如何创造自己的数据字典(词库转换工具的使用)