安装二:hdfs的运行和YARN资源管理系统的配置和启动
2018-03-07 16:18
417 查看
YARN是Hadoop 2.0中的资源管理系统,它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配,而ApplicationMaster负责单个应用程序的管理。hdfs的使用和管理创建一个words.txt 文件并上传vi words.txtHello WorldHello TomHello JackHello HadoopBye hadoop将words.txt上传到hdfs的根目录/home/xupanpan/hadoop/hadoop/bin/hadoop fs -put /home/xupanpan/hadoop/word.txt /
1、配置etc/hadoop/mapred-site.xml:mv /home/xupanpan/hadoop/hadoop/etc/hadoop/mapred-site.xml.template /home/xupanpan/hadoop/hadoop/etc/hadoop/mapred-site.xmlvim /home/xupanpan/hadoop/hadoop/etc/hadoop/mapred-site.xml<configuration><!-- 通知框架MR使用YARN --><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>
2、配置etc/hadoop/yarn-site.xml:vim /home/xupanpan/hadoop/hadoop/etc/hadoop/yarn-site.xml
3、YARN的启动
http://192.168.20.225:8088/cluster
3、YARN的停止sbin/stop-yarn.sh现在我们的hdfs和yarn都运行成功了,我们开始运行一个WordCount的MP程序来测试我们的单机模式集群是否可以正常工作。
1、配置etc/hadoop/mapred-site.xml:mv /home/xupanpan/hadoop/hadoop/etc/hadoop/mapred-site.xml.template /home/xupanpan/hadoop/hadoop/etc/hadoop/mapred-site.xmlvim /home/xupanpan/hadoop/hadoop/etc/hadoop/mapred-site.xml<configuration><!-- 通知框架MR使用YARN --><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>
2、配置etc/hadoop/yarn-site.xml:vim /home/xupanpan/hadoop/hadoop/etc/hadoop/yarn-site.xml
3、YARN的启动
1 | /home/xupanpan/hadoop/hadoop/sbin/start-yarn.sh |
http://192.168.20.225:8088/cluster
3、YARN的停止sbin/stop-yarn.sh现在我们的hdfs和yarn都运行成功了,我们开始运行一个WordCount的MP程序来测试我们的单机模式集群是否可以正常工作。
相关文章推荐
- 在VMWare Workstation上使用RedHat Linux安装和配置Hadoop群集环境05_HDFS文件系统和Mapreduce框架的启动和运行
- linux下安装高可用hdfs以及基于yarn资源管理框架
- 企业级Hadoop 2.x入门系列之四HDFS文件系统和YARN资源管理框架简介
- VS.net2005写的程序如何在没有.Net FrameWork的机器上运行 --解决“由于应用程序的配置不正确,应用程序未能启动,重新安装应用程序可能会纠正这个问题”(转载)
- VMware Workstation 运行出现“由于应用程序配置不正确,应用程序未能启动。重新安装应用程序可能会纠正这个问题”解决方案
- 测试用例管理系统TestLink的安装与配置
- 通过ILO或ILO2 端口链接到服务器进行配置服务器和安装系统,管理服务器
- Puppet集中配置管理系统[安装与配置] 推荐
- Windows服务 示例简要说明(系统事件日志、运行批处理、安装卸载、启动调试)
- C# ASP.NET 通用权限管理系统组件源码中WCF例子程序服务器端运行详细配置参考
- 关于linux下安装oracle之后,重启系统后oracle不能正常启动的配置总结
- 命令行启动模拟器并以系统级程序方式安装运行launcher
- Intersge无法启动--原因是Message Queues的资源不足,共享内存不足 RedHat如何在系统运行过程中修改内核参数
- Win2000 Server 上安装配置JDK,Tomcat,SqlServer2000和JDBC,运行管理JSP简单网站的实验
- C# ASP.NET 通用权限管理系统组件源码中WCF例子程序服务器端运行详细配置参考
- linux系统管理.系统的安装后的简单配置
- 转:解决VC2005程序的一个运行错误“由于应用程序的配置不正确,应用程序未能启动,重新安装应用程序可能会纠正这个问题”
- 【Linux系统和服务管理】MySQL服务器安装与配置(一)
- Puppet集中配置管理系统[安装与配置]
- 使用 XForms 和 Ruby on Rails 开发小型门诊管理系统,第 1 部分: 安装配置 IBM DB2 9 pureXML