ETL工具kettle原理简介
2016-08-12 10:34
295 查看
一、kettle是什么?
一款国外开源的ETL工具,纯JAVA编写,无需安装。
Kettle 主要包含4个产品:
Spoon:kettle图形设计工具(GUI)
Pan:transform执行器,可命令行执行transform,如:Pan /file ***.ktr
Kitchen:Job执行器,可命令行执行Job,如 Kitchen /file ****.kjb
Carte: kettle提供的web server的程序,在kettle调用集群(cluster)来进行分布式分发、处理任务的时候,可以开启多个carte服务进程来进行分发ETL(master)任务和 接收,运行,提交ETL任务(slave)
二、kettle主要组件
1、job
JOB:实际上就是kettle中的任务流,用于调用transformation和其他JOB,由entry和hop组成。
jobEntry类图:
其执行流程:
2 、transform
组成部分:step 和 hop
执行流程:
step直接是通过数据流进行交换,包括一个rowMeta和一组data,其中rowMeta就是元数据,指定了每列数据的名称和类型
3、资源库
实际就是保存所有产生的kjb、ktr和数据库连接等其他文件,kettle提供了文件库和数据库两种方式,主要区别就是一个是直接将产生的文件保存在文件夹下,一个是保存在数据库中。
一款国外开源的ETL工具,纯JAVA编写,无需安装。
Kettle 主要包含4个产品:
Spoon:kettle图形设计工具(GUI)
Pan:transform执行器,可命令行执行transform,如:Pan /file ***.ktr
Kitchen:Job执行器,可命令行执行Job,如 Kitchen /file ****.kjb
Carte: kettle提供的web server的程序,在kettle调用集群(cluster)来进行分布式分发、处理任务的时候,可以开启多个carte服务进程来进行分发ETL(master)任务和 接收,运行,提交ETL任务(slave)
二、kettle主要组件
1、job
JOB:实际上就是kettle中的任务流,用于调用transformation和其他JOB,由entry和hop组成。
jobEntry类图:
其执行流程:
2 、transform
组成部分:step 和 hop
执行流程:
step直接是通过数据流进行交换,包括一个rowMeta和一组data,其中rowMeta就是元数据,指定了每列数据的名称和类型
3、资源库
实际就是保存所有产生的kjb、ktr和数据库连接等其他文件,kettle提供了文件库和数据库两种方式,主要区别就是一个是直接将产生的文件保存在文件夹下,一个是保存在数据库中。
相关文章推荐
- ETL工具之——kettle使用简介
- ETL工具Kettle简介和安装配置基本使用
- ETL工具Kettle对PostgreSQL操作的基本介绍
- Kettle定时执行(ETL工具)
- 开源ETL工具kettle系列之增量更新设计技巧
- 开源ETL工具kettle系列之常见问题
- ETL工具 kettle问题
- ETL 以及 KETTLE 简介
- kettle定时执行(ETL工具)
- ETl的工具(Kettle)和AIX服务器定时任务总结
- 开源ETL工具kettle系列
- 开源ETL工具kettle<转>
- 开源ETL工具kettle系列之常见问题
- ETL和Kettle简介
- 开源ETL工具kettle系列之常见问题(转载)(
- 开源ETL工具kettle系列之常见问题
- 开源ETL工具kettle系列之常见问题
- 用ETL工具kettle实现的一个需求
- 关于使用ETL工具Kettle的简单介绍(一)
- Kettle定时执行(ETL工具) .