DataStage实践之简单入门
2012-12-04 20:07
155 查看
DataStage组成:
DataStage Designer(设计者):用来创建DataStage Job(作业)的设计接口。每个作业都指定数据源,所需的转换和数据的目的地。作业被编译成可执行的,由Director计划,由Server运行。
DataStage Director(指挥者):用来验证,计划时间,运行,监控DataStage的作业。
DataStage Manager(管理者):用来查看,编辑Repository的内容。
DataStage Administrator(主管):用于创建DataStage用户,创建,移动项目。
DataStage安装:
挺简单的,一路Next,当然首先你必须要有授权才行,:)
DataStage简单举例(以下例子均在Server Job下运行通过):
功能:实现将某个定长文本文件中的数据导入到Oracle数据库中。
总结:功能虽然简单,但是体现了整个ETL过程,即:从数据的抽取到数据的转换最后加载数据到指定库的过程。
附图:
各部分说明:
Sequential_File_0(序列文件):数据源文件,可以是.txt,.del等任何顺序文件。主要需要设置Outputs->General中的File name属性,选定来源文件;然后需要设置该文件所对应的结构,用Outputs->Columns->Load......来加载你所需要的结构。
Transformer(转换所用到的Stage组件):主要需要设置其“转换规则”(个人理解),当数据从Sequential_File_0中读出来的时候,按照相应的“规则”再加载到数据库中,其实也就是对数据实现清洗的过程,当然还有去重等等之类,在这里的例子比较简单,所以不需要对数据进行任何处理。该组件虽然使用很简单,但是效率却不是很好,所以在具体的实践中应尽量少用该组件。
Oracle_OCI_9(Oracle组件):DataStage之所以能够完成对异构数据库进行统一处理,最主要的原因我想就在于此吧!它提供了众多的数据库Stage,如DB2,Informix,Oracle,Sybase等等,即使你都不用,你还可以通过ODBC来完成对数据库的链接,一个字:强!这里对Oracle_OCI_9组件的设置主要在于对DataBase Source Name(数据库实例名称),User ID(表空间名称),Password(表空间密码)的设置,以及对某张表名,表结构的设置等等。
各部分设置附图:
Sequential_File_0:
Transformer:
Oracle_OCI_9:
经验总结:在运行时可能会遇到问题,用Director可以查看其报的错以及警告信息,不错哦!!
DataStage Designer(设计者):用来创建DataStage Job(作业)的设计接口。每个作业都指定数据源,所需的转换和数据的目的地。作业被编译成可执行的,由Director计划,由Server运行。
DataStage Director(指挥者):用来验证,计划时间,运行,监控DataStage的作业。
DataStage Manager(管理者):用来查看,编辑Repository的内容。
DataStage Administrator(主管):用于创建DataStage用户,创建,移动项目。
DataStage安装:
挺简单的,一路Next,当然首先你必须要有授权才行,:)
DataStage简单举例(以下例子均在Server Job下运行通过):
功能:实现将某个定长文本文件中的数据导入到Oracle数据库中。
总结:功能虽然简单,但是体现了整个ETL过程,即:从数据的抽取到数据的转换最后加载数据到指定库的过程。
附图:
各部分说明:
Sequential_File_0(序列文件):数据源文件,可以是.txt,.del等任何顺序文件。主要需要设置Outputs->General中的File name属性,选定来源文件;然后需要设置该文件所对应的结构,用Outputs->Columns->Load......来加载你所需要的结构。
Transformer(转换所用到的Stage组件):主要需要设置其“转换规则”(个人理解),当数据从Sequential_File_0中读出来的时候,按照相应的“规则”再加载到数据库中,其实也就是对数据实现清洗的过程,当然还有去重等等之类,在这里的例子比较简单,所以不需要对数据进行任何处理。该组件虽然使用很简单,但是效率却不是很好,所以在具体的实践中应尽量少用该组件。
Oracle_OCI_9(Oracle组件):DataStage之所以能够完成对异构数据库进行统一处理,最主要的原因我想就在于此吧!它提供了众多的数据库Stage,如DB2,Informix,Oracle,Sybase等等,即使你都不用,你还可以通过ODBC来完成对数据库的链接,一个字:强!这里对Oracle_OCI_9组件的设置主要在于对DataBase Source Name(数据库实例名称),User ID(表空间名称),Password(表空间密码)的设置,以及对某张表名,表结构的设置等等。
各部分设置附图:
Sequential_File_0:
Transformer:
Oracle_OCI_9:
经验总结:在运行时可能会遇到问题,用Director可以查看其报的错以及警告信息,不错哦!!
相关文章推荐
- DataStage实践之简单入门
- DataStage实践之简单入门
- DataStage实践之简单入门
- React入门简单实践
- 案例4-3 Ajax的响应处理简单实例(征服Ajax——Web 2.0快速入门与项目实践Java)
- 【《Python编程: 从入门到实践》习题答案--第二章:<变量和简单数据类型>】
- 《Python编程从入门到实践》_第二章_变量和简单数据类型
- struts 简单入门实践-demo
- Python web入门:Django学习与实践二(简单页面实现和创建一个模板)
- 《Python编程从入门到实践》_第二章_变量和简单数据类型
- 【Python编程:从入门到实践】第二章:变量和简单数据类型
- DataStage从入门到精通实践视频教程【免费更新】
- ARM入门实践(一)----Mini6410上最简单的LED点灯裸机程序
- 【LEFT JOIN 入门级实践】MYSQL 简单实现 ORACLE minus 差集函数
- python 编程从入门到实践 第二章 变量和简单数据类型
- 程序员的机器学习入门笔记(十一):简单人脸识别系统实践
- [置顶] 【day 1】python编程:从入门到实践学习笔记-安装、变量和简单数据类型
- YAML简单入门
- Spring 简单的入门
- 实践DIV+CSS网页布局入门指南