使用hue+oozi构建任务调度系统

oozie调度系统调研

1. 关于oozie的简单说明

oozie应用程序目录结构说明：

一个完整的oozie应用程序一般情况下至少包含三个文件及目录：job.properties、workflow.xml、lib（lib表示为用来存放程序运行需要的jar包，非必需）

flow nodes的六种类型：

start, end, decision, fork, join, kill

action-node的部分类型：

Hadoop map-reduce, Hadoop file system, Pig, SSH, HTTP, eMail and Oozie sub-workflow，

Oozie可以自定义扩展任务类型。

2. Oozie简介

WorkFlow：工作流，控制工作流的开始和结束过程，以及工作流Job的执行路径，并提供一种机制来控制工作流执行路径（比如：Decision、Fork以及Join节点等）

Coordinator：调度器，多个WorkFlow可以组成一个Coordinator，可以把前几个WorkFlow的输出作为后一个WorkFlow的输入，当然也可以定义WorkFlow的触发条件，来做定时触发.

Bundle：控制一个或多个Coordinator应用

3. 一个标准的工作流的示例

hPDL流程的定义:

<workflow-app name='wordcount-wf' xmlns="uri:oozie:workflow:0.1">
<start to='wordcount'/>
<action name='wordcount'>
<map-reduce>
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<configuration>
<property>
<name>mapred.mapper.class</name>
<value>org.myorg.WordCount.Map</value>
</property>
<property>
<name>mapred.reducer.class</name>
<value>org.myorg.WordCount.Reduce</value>
</property>
<property>
<name>mapred.input.dir</name>
<value>${inputDir}</value>
</property>
<property>
<name>mapred.output.dir</name>
<value>${outputDir}</value>
</property>
</configuration>
</map-reduce>
<ok to='end'/>
<error to='end'/>
</action>
<kill name='kill'>
<message>Something went wrong: ${wf:errorCode('wordcount')}</message>
</kill/>
<end name='end'/>
</workflow-app>

4.在hue中创建一个workflow。

在hue中可以通过拖拽的方式进行workflow.xml的编辑：



hue的任务管理页面：



hue编辑的workflow.xml保存在hdf上的/user/oozie/workspaces/目录下：

/user/oozie/workspaces/hue-oozie-1476263861.83

[fuxin.zhao@db-hadoop-client02 ~]$ hadoop fs -ls /user/oozie/workspaces/hue-oozie-1476263861.83
Found 3 items
-rw-r--r--   3 hue hadoop        114 2016-10-12 17:33 /user/oozie/workspaces/hue-oozie-1476263861.83/job.properties
drwxr-xr-x   - hue hadoop          0 2016-10-12 17:17 /user/oozie/workspaces/hue-oozie-1476263861.83/lib
-rw-r--r--   3 hue hadoop       1277 2016-10-12 17:33 /user/oozie/workspaces/hue-oozie-1476263861.83/workflow.xml

自动生成的workflow文件内容如下：workflow的大体流程已经自动生成了，自己可以根据需要进行修改。

<workflow-app name="job-test-workflow" xmlns="uri:oozie:workflow:0.5">
<start to="shell-f60d"/>
<kill name="Kill">
<message>Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<action name="shell-f60d">
<shell xmlns="uri:oozie:shell-action:0.1">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<exec>/user/hue/aa.sh</exec>
<argument>args1</argument>
<argument>args2</argument>
<argument>args2</argument>
<file>/user/hue/avro-1.7.4.jar#avro-1.7.4.jar</file>
<capture-output/>
</shell>
<ok to="shell-dfe8"/>
<error to="Kill"/>
</action>
<action name="shell-dfe8">
<shell xmlns="uri:oozie:shell-action:0.1">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<exec>/user/hue/aa.sh</exec>
<capture-output/>
</shell>
<ok to="kill-ece6"/>
<error to="Kill"/>
</action>
<kill name="kill-ece6">
<message>Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<end name="End"/>
</workflow-app>

5.提交oozie命令

1 .提交oozie任务
oozie job -oozie http://localhost:11000/oozie/ -config /root/tvreport-workflow/tvreport-daily-wf/job.properties  -run
2 .提交kill 任务
oozie job -oozie http://localhost:11000/oozie -kill 0031861-140812111151262-oozie-root-W

3.查看job的日志信息
bin/oozie job -oozie http://hadoop-1:11000/oozie -log 0000001-160702224410648-oozie-beif-W

》》》未完待续。