Oozie_03运行官方案例【20161116】
2016-11-16 01:56
155 查看
3.1官方的案例
(1)Oozie根目录下找到 oozie-examples.tar.gz(2)解压tar -zxvf oozie-examples.tar.gz 生成example文件夹
[hadoop@hadoop01 oozie-4.0.0-cdh5.3.6]$ tar -zxvf oozie-examples.tar.gz
(3)拷贝(2)新生成的examples到HDFS的用户家目录下
[hadoop@hadoop01 hadoop-2.5.0-cdh5.3.6]$
bin/hdfs dfs -put /opt/cdh-5.3.6/oozie-4.0.0-cdh5.3.6/examples examples
(4)查看examples里面内容
三个目录apps input-data src,三个目录主要功能及截图如下
apps:官方自带的workflow的案例,有hive mapreduce.....
input-data:输入的数据
src:源码包
(5)配置案例自带的mapreduce程序
查看其中一个mao-reduce案例,里面有五个文件:
job.properties:两个作用:指定workflow的地址 声明相关变量
nameNode=主机名
jobTracker 端口为8032(就是resourcemanger地址)
queueName队列名称不改
examplesRoot
ooize.wf.application.path=主机名/用户名/.. 指定了workflow的地址
原有内容
修改下面内容 修改了nameNode和jobTracker两处
lib 存放jar包 【不用修改】
workflow.xml :实际运行的workflow【运行该案例这个配置不用修改】
prepare标志作用对提前删除输出目录
.输出目录同输入目录同建立在/user/hadoop/examples下面(如下图)
configuration标志对
job-with-config-class.properties 【不修改】
workflow-with-config-class.xml【不修改】
(6)修改oozie-site.xml
修改前内容
该属性修改为hadoop的配置文件
注意: *=不能删除
(7)重启oozie
[hadoop@hadoop01 oozie-4.0.0-cdh5.3.6]$ bin/oozied.sh stop
[hadoop@hadoop01 oozie-4.0.0-cdh5.3.6]$ bin/oozied.sh start
(8)再次提交
[hadoop@hadoop01 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://hadoop01:11000/oozie -config examples/apps/map-reduce/job.properties -run
命令行界面
Oozie图形界面
(9)总结
第一点:运行时指定的job.properties文件是本地的,不是hdfs上面的,不过建议修改完该properties文件最好重新上次,把整个包重新上传
第二点:运行一个workflow 启动了两个mapreduce
一个是oozie:launcher 用于对workflow进行封装(封装程序只有map任务)
一个是oozie:action 执行的mapreduce
利用8088端口查看
action:launcher只有map任务
相关文章推荐
- (三)oozie官方案例map-reduce运行
- Metaio in Unity3d 教学--- 一. 搭建环境,运行官方案例
- Metaio in Unity3d 教学--- 一. 搭建环境,运行官方案例
- 大数据Hive的案例、参数、动态分区、分桶、视图、索引、运行方式、权限管理、Hive的优化_03_03
- RN(react native)入坑指南-03,运行官方示例UIExplorer
- Oozie_04总结一下workflowf的运行流程【20161116】
- Metaio in Unity3d 教学--- 一. 搭建环境,运行官方案例
- Metaio in Unity3d 教程--- 一. 搭建环境,运行官方案例
- oozie3.3.2-cdh4.5.0运行官方示例sqoop
- spring原理案例-基本项目搭建 03 创建工程运行测试 spring ioc原理实例示例
- 关于官方的fabric-sample项目启动案例简单分析
- 【Unity3D 案例Demo】官方视频教程Roll A Ball总结
- Dagger2官方CoffeeMaker案例的分解说明
- Atyls 使用德致伦官方AXI BSP运行Mem test例程
- 微信JS SDK Demo 官方案例
- oozie 运行错误
- oozie案例——自定义coordinator
- 高级需求分析技巧,用案例说明,如何从运行场景中挖掘功能需求?
- Spark定制班第3课:通过案例对SparkStreaming 透彻理解三板斧之三:解密SparkStreaming运行机制和架构进阶之Job和容错
- Oozie_02安装遇到错误【20161116】