您的位置:首页 > 大数据 > Hadoop

安装二:hdfs的运行和YARN资源管理系统的配置和启动

2018-03-07 16:18 417 查看
YARN是Hadoop 2.0中的资源管理系统,它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配,而ApplicationMaster负责单个应用程序的管理。hdfs的使用和管理创建一个words.txt 文件并上传vi words.txtHello WorldHello TomHello JackHello HadoopBye   hadoop将words.txt上传到hdfs的根目录/home/xupanpan/hadoop/hadoop/bin/hadoop fs -put /home/xupanpan/hadoop/word.txt / 

1、配置etc/hadoop/mapred-site.xml:mv /home/xupanpan/hadoop/hadoop/etc/hadoop/mapred-site.xml.template /home/xupanpan/hadoop/hadoop/etc/hadoop/mapred-site.xmlvim /home/xupanpan/hadoop/hadoop/etc/hadoop/mapred-site.xml<configuration><!-- 通知框架MR使用YARN --><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>


2、配置etc/hadoop/yarn-site.xml:vim /home/xupanpan/hadoop/hadoop/etc/hadoop/yarn-site.xml


3、YARN的启动
1/home/xupanpan/hadoop/hadoop/sbin/start-yarn.sh


http://192.168.20.225:8088/cluster


3、YARN的停止sbin/stop-yarn.sh现在我们的hdfs和yarn都运行成功了,我们开始运行一个WordCount的MP程序来测试我们的单机模式集群是否可以正常工作。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  安装
相关文章推荐