Oozie — What Why and How
2013-12-11 02:53
399 查看
Oozie是什么?
Oozie最初是Yahoo!为Hadoop开发的一个工作流调度器,一个工作流有多个Job组成。它允许用户提交由多个Job组成的工作流配置文件,这些Job既可以顺序执行,也可以并行执行,还可以配置其中的Job定时执行、出错重新执行等。
Oozie提供了Java Client API和Web Service API以及命令行接口,使用简单。
现在是Apache的一个开源项目。
为什么使用Oozie?
主要是为了更方便、自由的使用Hadoop,提交作业。
对一个集群中每天有大量左右需要提交执行的情况来说,使用Oozie管理这些Job很方便。
另外一点就是,如果有Job执行出错,可以配置Oozie重新执行这些Job。
如何使用Oozie? 首先需要执行的Job的配置写入workflow.xml,配置中需要指明每个Job的输入文件、输出文件、输出Reader、输出Writer、Mapper、Reducer、Job的执行参数
然后提交这个xml文件
配置workflow的property (指明Name Node、JobTraker、job执行过程中所使用的jar包的location)
关于oozie的更多信息,请参考:
http://yahoo.github.com/oozie/
http://yahoo.github.com/oozie/releases/3.1.0/
http://incubator.apache.org/oozie
--------------
本文地址:http://nourlcn.ownlinux.net/2011/11/oozie-what-why-and-how.html
https://twitter.com/nourlcn
2011-11-20
Oozie最初是Yahoo!为Hadoop开发的一个工作流调度器,一个工作流有多个Job组成。它允许用户提交由多个Job组成的工作流配置文件,这些Job既可以顺序执行,也可以并行执行,还可以配置其中的Job定时执行、出错重新执行等。
Oozie提供了Java Client API和Web Service API以及命令行接口,使用简单。
现在是Apache的一个开源项目。
为什么使用Oozie?
主要是为了更方便、自由的使用Hadoop,提交作业。
对一个集群中每天有大量左右需要提交执行的情况来说,使用Oozie管理这些Job很方便。
另外一点就是,如果有Job执行出错,可以配置Oozie重新执行这些Job。
如何使用Oozie? 首先需要执行的Job的配置写入workflow.xml,配置中需要指明每个Job的输入文件、输出文件、输出Reader、输出Writer、Mapper、Reducer、Job的执行参数
然后提交这个xml文件
配置workflow的property (指明Name Node、JobTraker、job执行过程中所使用的jar包的location)
关于oozie的更多信息,请参考:
http://yahoo.github.com/oozie/
http://yahoo.github.com/oozie/releases/3.1.0/
http://incubator.apache.org/oozie
--------------
本文地址:http://nourlcn.ownlinux.net/2011/11/oozie-what-why-and-how.html
https://twitter.com/nourlcn
2011-11-20
相关文章推荐
- What is virtual memory, how is it implemented, and why do operating systems use it?
- Developers should know How, What and Why
- 【腾讯Bugly干货分享】安卓单元测试:What, Why and How
- 【腾讯Bugly干货分享】安卓单元测试:What, Why and How
- C++ Tips: Adjustor thunk: what is it, why and how it works
- (Page 1 of 3 )A walking tour of JavaBeans What JavaBeans is, how it works, and why you want to use it
- (Page 2 of 3 )A walking tour of JavaBeans 2 :What JavaBeans is, how it works, and why you want to use it
- camera flicker--- what why and how
- (Page 3 of 3 )A walking tour of JavaBeans What JavaBeans is, how it works, and why you want to use it
- 学习技术的三部曲——What How Why
- 学习技术的三部曲:WHAT、HOW、WHY
- iOS开发UI-Quartz2D what about Quartz2D ?and how to use it ?
- Why your Android NDK breakpoints might fail and how to fix them
- 容器 What, Why, How - 每天5分钟玩转容器技术(6)
- 学习技术的三部曲:WHAT、HOW、WHY
- 容器 What, Why, How - 每天5分钟玩转容器技术(6)
- What is Docker and why is it so darn popular?
- 微服务架构之思维三部曲:What、Why、How
- 学习技术的三部曲:WHAT、HOW、WHY
- Sys.WebForms.PageRequestManagerParserErrorException - what it is and how to avoid it