yarn安装部署
2016-01-19 17:16
260 查看
在HDFS HA(/article/5257327.html)基础上进行yarn的安装。
1、配置yarn-site.xml
参数详情参考 /article/5257329.html
配置如下:
2、配置mapred-site.xml
在${HADOOP_HOME}/etc/hadoop/下,将mapred-site.xml.templat重命名成mapred-site.xml
配置如下:
相比于Hadoop1.0,用户无需再配置mapred.job.tracker,这是因为JobTracker已变成客户端的一个库,他可能被随机调度到任何一个slave上,也就是它的位置是动态生成的
3、启动关闭
在h1上启动yarn,执行
> sbin/start-yarn.sh
在h2上启动JobHistory Server,执行
> sbin/mr-jobhistory-daemon.sh start historyserver
注:Hadoop启动jobhistoryserver来实现web查看作业的历史运行情况,由于在启动hdfs和Yarn进程之后,jobhistoryserver进程并没有启动,需要手动启动
jobhistory配置可参照 /article/5257329.html
关闭 sbin/stop-yarn.sh
1、配置yarn-site.xml
参数详情参考 /article/5257329.html
配置如下:
2、配置mapred-site.xml
在${HADOOP_HOME}/etc/hadoop/下,将mapred-site.xml.templat重命名成mapred-site.xml
配置如下:
相比于Hadoop1.0,用户无需再配置mapred.job.tracker,这是因为JobTracker已变成客户端的一个库,他可能被随机调度到任何一个slave上,也就是它的位置是动态生成的
3、启动关闭
在h1上启动yarn,执行
> sbin/start-yarn.sh
在h2上启动JobHistory Server,执行
> sbin/mr-jobhistory-daemon.sh start historyserver
注:Hadoop启动jobhistoryserver来实现web查看作业的历史运行情况,由于在启动hdfs和Yarn进程之后,jobhistoryserver进程并没有启动,需要手动启动
jobhistory配置可参照 /article/5257329.html
关闭 sbin/stop-yarn.sh
相关文章推荐
- js转换/Date(........)/
- html中文乱码
- ios开发的block反向传值
- Delphi PChar与String互转
- oracle dblink相关的知识
- Oracle CDC基本操作及用法
- android 使父控件和子控件都处理触摸事件方式
- Linux学习第4天:linux系统管理
- Java内存模型FAQ(十二)如果我需要写一个VM,我需要做些什么
- 屏幕截取-2种模式
- Delphi+MySQL:TADOQuery使用插入中文乱码解决方法
- 有没有做开发多年的朋友去创业呢?
- Redhat 移除yum 并重新安装
- 对话架构师:魅族应用商店云端架构实践
- java操作json字符串 与 js操作json字符串简单例子
- 我的 Xcode 插件单
- Hadoop伪分布式搭建-(2)
- 2016.01.18 UILabel
- 学习JavaScript设计模式之迭代器模式
- GXUI 的认识