(二)Oozie的安装部署
2015-12-24 11:35
295 查看
1、安装环境
centOS6.4Java JDK 1.7
Maven
hadoop-2.5.0-cdh5.3.6
oozie-4.0.0-cdh5.3.6
ext-2.2.zip
2、编译
本文采用的是cdh编译好的版本,无须编译!3、安装部署(根据官网)
地址:http://archive.cloudera.com/cdh5/cdh/5/oozie-4.0.0-cdh5.3.6/DG_QuickStart.html3.1、安装前注意事项
3.1.1、Download ExtJS library (it must be version 2.2)。
ExtJS版本必须是2.2版本
3.1.2、It is recommended to use a Oozie Unix user for the Oozie server.
推荐使用Oozie这个Linux用户。这个暂时不需要管
3.2、解压oozie
本文解压的目录为:/home/xusy/share/cdh5.3.6/oozie-4.0.0-cdh5.3.6目录分析:
oozie-server-----其实就是一个tomcat src--------------源码 bin--------------脚本 lib-------------jar包 conf------------配置文件 oozie.war-------oozie工程 oozie-sharelib-*.tar.gz----调用hadoop、hive等的jar包(重要) oozie-example-*。tar。gz---案例
3.3、配置hadoop的core-site.xml
我们的Hadoop平台使用的是用户xusy,这里配置Hadoop代理用户也使用该用户,部署Oozie的主机名为xuxudede.com。修改Hadoop的配置文件core-site.xml,增加如下配置内容:<property> <name>hadoop.proxyuser.xusy.hosts</name> <value>xuxudede.com</value> </property> <property> <name>hadoop.proxyuser.xusy.groups</name> <value>*</value> </property>
3.4、解压oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz
Expand the Oozie hadooplibs tar.gz in the same locationOozie distribution tar.gz was expanded
特别注意:解压的目录要与oozie解压的路径相同,解压完成后会在oozie根目录下生成一个hadooplibs文件!!!
如图:
3.5、创建libext目录
Create a libext/ directory in the directory where Oozie was expanded.在oozie的根目录中创建libext目录。
如图:
3.6、将hadoop相关的jar库文件拷贝到libext下面
拷贝hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6下的jar包到libext/目录下3.7、拷贝ext-2.2.zip到libext/目录下
如图:3.8、创建war包并加到tomcat里
$ bin/oozie-setup.sh prepare-war
3.9、重启hadoop进成,直到脱离安全模式
先stop namenode、datanode、resourcemanager、nodemanager、historyserver,然后再分别start。这里不再讲述!3.10、把oozie根目录下oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz包解压并且放到hdfs上
运行命令如下:hdfs://xuxudede.com:9000是HDFS主机名加端口号!$bin/oozie-setup.sh sharelib create -fs hdfs://xuxudede.com:9000 -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz
4.11、初始化数据库
$ bin/oozie-setup.sh create -sqlfile oozie.sql -run DB Connection
查看控制台输出日志,没有报错,并且在当前目录下可以看到,同时也生成了oozie.sql脚本文件。如果发现错误,请首先检查授权问题!
4.12、启动oozie守护进程Bootsrap
$ bin/oozied.sh start
可以看到,端口号为11000,
web为:http://xuxudede.com:11000/oozie
至此,oozie已经安装成功!
接下来会介绍如何运行官方的案例!
相关文章推荐
- PHP 性能分析第二篇: Xhgui In-Depth
- Duplicate复制数据库并创建物理StandBy(spfile版本)
- android图片压缩
- Dubbo 入门实例 本地伪集群测试Demo
- nagios监控国外主机超时
- IOS调用系统相机后状态栏消失BUG
- Java工程师成神之路
- 《小亚和小信》人面广才混得下去?
- Android自定义圆形图片
- 开发一定要事事留心
- matlab LDA linear dicriminant analysis 实现
- js-图标控件
- iis6|iis7|配置URLRewriter|64位操作系统下|.net2.0|.net4.0|配置URLRewriter|Web.config配置详情
- 日常笔记
- [ERROR] session ip change too many (WebSessionStat.java:266)的原因及不完整解决办法
- eclipse插件开发学习笔记(1)
- Activity
- 【干货篇】调用其他系统http接口超时了,如何处理,方案汇总
- 12c 用户的创建
- could not initialize proxy - no Session