YARN的环境搭建
2018-02-19 18:39
148 查看
配置yarn
Yarn是hadoop的资源调度器,可以配置mapreduce job基于yarn运行。
1)配置etc/hadoop/mapred-site.xml(告诉mapreduce框架,最终执行时跑的位置是yarn上)
<configuration> <property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property> </configuration>2)配置etc/hadoop/yarn-site.xml(yarn的nodemanager中的services用的是mapreduce——shuffle)
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>3)启动yarn相关进程
$ sbin/start-yarn.sh4)验证
jps
http://hadoop000:8088/
5)停止yarn相关进程
sbin/stop-yarn.sh
提交mr作业到yarn上运行:
/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce里面的
hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar
hadoop jar
例如:
pi是程序名称,2 3是参数
相关文章推荐
- Spark2.0.1 on yarn with hue 集群搭建部署(一)基础环境配置
- Hadoop环境搭建三之配置部署启动YARN以及在YARN上运行MapReduce程序
- Hadoop2+HA+YARN环境搭建
- Hadoop2.6集群环境搭建(HDFS HA+YARN)原来4G内存也能任性一次.
- hadoop分布式环境搭建(vmware14+hadoop2.9.0(包含yarn)+Ubuntu16.04LTS+jdk1.8.0_161)
- Spark on Yarn+Hbase环境搭建指南(二)Hadoop安装
- Ubuntu上搭建hadoop 2.2.0环境,配置yarn(单机)
- Eclipse 下搭建Hadoop(2.5.0) 开发环境 YARN
- sparkR on yarn环境搭建
- Hadoop、Yarn环境配置搭建
- YARN环境搭建
- Spark on Yarn+Hbase环境搭建指南(四)NTP服务设置
- YARN环境搭建
- Hadoop2.6集群环境搭建(HDFS HA+YARN)
- 基于hadoop2.7.3搭建多机环境(YARN+HA)
- Hadoop 2.x环境搭建之三配置部署启动YARN及在YARN上运行MapReduce程序
- Spark on Yarn+Hbase环境搭建指南(一)准备工作
- Spark的环境搭建以及简单的eclipse的两种运行方式--standalone和yarn
- Spark On Yarn环境搭建
- Hadoop2.6集群环境搭建(HDFS HA+YARN)