Hadoop2.X中Mapreduce,YARN等配置,启动和常见错误解决办法
2017-03-21 09:20
477 查看
本篇文章主要介绍一下 hadoop2.X 的启动的相关配置和启动过程常见错误的解决办法,废话不多少,下面开始按照官网的描述步骤开始介绍。1.在opt目录下建立两个目录,分别为 modules,software ,建立这两个目录的目的是为了方便管理软件的安装和卸载2.安装jdk ,由于本文中搭建的是hadoop2.X的环境,其中使用YARN,所以对jdk的版本有要求,最低为1.6.*以上, 将jdk拷贝到 /opt/software 下,使用减压命令将其减压到 /opt/modules 下面,然后再编辑 /etc/profile ,在文件末 尾加上如下内容: export JAVA_HOME=/opt/modules/jdk1.7.0_79 export PATH=$JAVA_HOME:$PATH 注意:在安装jdk前,先检查一下linux系统是否已经安装了openJDK,如果已经安装了,请先将其卸载掉, 然后再进行安装,我是用的是CentOS6.5,这些做完以后运行 resource /etc/profile 使配置文件生效 3.接下来安装Hadoop,我用的是hadoop2.5.0,将其解压到 /opt/modules 下面。 3.1)配置 /opt/modules/hadoop2.5.0/etc/hadoop/hadoop-env.sh,配置内容如下: export JAVA_HOME=/opt/modules/jdk1.7.0_79 3.2)配置 /opt/modules/hadoop-2.5.0/etc/core-site.xml,配置内容如下:
<configuration>
##配置hadoop的hdfs <property> <name>fs.defaultFS</name> <value>hdfs://192.168.239.133:8020</value> </property>
##配置hdfs的临时文件存储路径
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/modules/hadoop-2.5.0/data/tmp</value>
</property>
##配置文件删除以后存放的时间,类似于垃圾箱的功能
<property>
<name>fs.trash.interval</name>
<value>102400</value>
</property></configuration>
3.3)配置/opt/modules/hadoop-2.5.0/etc/hdfs-site.xml,配置内容如下:
<configuration>
##配置备份的文件数<property><name>dfs.replication</name><value>1</value></property></configuration>
3.4)配置完以上步骤以后,然后对hdfs文件系统进行格式化,执行如下代码:
bin/hdfs namenode -format
然后执行如下代码启动 namenode,datanode:
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
通过浏览器访问 192.168.239.133:50030/50070,如果能正常访问则说明所有配置正确
4.配置YARN,将hadoop运行在YARN上,配置内容如下:
4.1)配置/opt/modules/hadoop-2.5.0/etc/hadoop/yarn-env.sh,配置内容如下:
export JAVA_HOME=/opt/modules/jdk1.7.0_09
配置/opt/modules/hadoop-2.5.0/etc/hadoop/mapred-env.sh,配置内容如下:
export JAVA_HOME=/opt/modules/jdk1.7.0_79
4.2)配置/opt/modules/hadoop-2.5.0/etc/hadoop/mapred-site.xml,这个文件之前名字叫mapred-site-template.xml,
需要修改这个名字配置内容如下:
<configuration>
##将mapreduce运行在YARN上<property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>
4.3)配置/opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml,配置内容如下:
<configuration>
##配置yarn的resourcemanager
<property>
<name>yarn.resourcemanager.hostname</name>
<value>192.168.239.133</value>
</property>
##配置yarn的nodemanager<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
##配置yarn日志显示功能
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</true>
</property>
##配置日志存放时间
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>204800</value>
</property></configuration>
4.4)至此,YARN配置完毕,通过以下命令启动 resourcemanager,nodemanager,historyserver
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserver
通过浏览器访问192.168.239.133:8088 来查看yarn的管理界面,如果能正常访问则说明所有配置正确
5.配置ssh无密码登陆:
5.1)切换到根目录下,cd 到 .ssh文件运行如下命令:
ssh-keygen -t rsa 然后一路回车即可
5.2)使用如下命令拷贝公钥到这台机器下,命令如下:
ssh-copy-id 192.168.239.133
到这里就完成了ssh免密码登录。bb15
6.下面说说配置过程中可能出现的问题:
6.1)格式化的时候出现问题。解决办法:查看etc/hadoop/core-site.xml文件配置是否有问题
6.2)启动namenode出错。解决办法:查看hadoop安装目录下的logs文件,查看出错信息并解决
总结:以上便是配置hadoop所有步骤,如有问题,随时交流
相关文章推荐
- Ubuntu系统Redis配置服务启动常见错误解决办法
- hadoop配置常见错误及解决办法
- 解决hadoop 集群启动常见错误办法
- hadoop-HA集群搭建,启动DataNode,检测启动状态,执行HDFS命令,启动YARN,HDFS权限配置,C++客户端编程,常见错误
- Hadoop - Mac OSX下配置和启动hadoop以及常见错误解决
- Hadoop - Mac OSX下配置和启动hadoop以及常见错误解决
- Ubuntu系统下eclipse配置mapreduce插件常见错误和解决办法汇总
- hadoop常见错误及解决办法(三)
- Ultraedit启动提示配置文件更新:Uedit32.exe应用程序错误的解决办法
- Hadoop常见错误及解决办法汇总
- java开发常见配置错误解决办法
- hadoop 启动错误解决办法Retrying connect to server: master/192.168.1.240:9000. Already tried 0 time(s)
- 【总结】Python 2.x中常见字符编码和解码方面的错误及其解决办法
- Could not locate executable null 解决办法【在windows环境下开发hadoop2.4.1或者hadoop2.5.2的mapreduce,执行job遇到的一些错误】
- hadoop常见错误及解决办法!
- Hadoop常见错误及解决办法
- IIS常见错误以及问题的解决办法,0x80070021,需要启动父路径(转)
- oracle 两个常见配置错误解决办法
- hadoop常见错误总结与解决办法
- Oracle配置常见错误解决办法