【hadoop之翊】——基于CentOS的hadoop2.4.0伪分布安装配置
2015-03-29 17:43
501 查看
今天总算是把hadoop2.4的整个开发环境弄好了,包括 windows7上eclipse连接hadoop,eclipse的配置和測试弄得烦躁的一逗比了~
先上一张成功的图片,hadoop的伪分布式安装配置,仅仅要依照步骤来,有点基础的 基本没什么问题的。。eclipse的配置 弄了非常长一段时间才弄好的,中间出现各种意外的错误。。下篇博客将重点讲述这个艰难的过程。。。
![](http://img.blog.csdn.net/20140712143642296?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZW5zb24xNjg1NQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
今天来说说hadoop2.4的安装和配置吧~
1、环境的准备:
系统:CentOS
JDK版本号:jdk7
系统须要包括ssh服务的。
CentOS配置:/etc/profile 最后面加入例如以下:(此配置文件接的是上次编译hadoop2.4源代码的配置文件:/article/1367152.html)
注意:这边要求下载好hadoop-2.4.0,而且解压到指定的文件夹(本人的:/home/hadoop/soft/hadoop)~
下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.4.0/
![](http://img.blog.csdn.net/20140712144627695?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZW5zb24xNjg1NQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
2、配置hadoop
hadoop-env.sh:
yarn-site.xml:
3,ssh免password登陆设置
命令:(此处要切换root用户,不要傻逼嘻嘻的一直使用个人用户)
试一下ssh localhost要是能免password登陆显示系统信息,就应该是对的。(这里有个输入password环节,是系统的password)
4、格式化hdfs:
命令:
![](http://img.blog.csdn.net/20140712145819415?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZW5zb24xNjg1NQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
出现上面这个图片那样的 说明格式化成功。。。。
5、启动hadoop
命令:
关闭的命令:
启动成功例如以下:
![](http://img.blog.csdn.net/20140712150435688?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZW5zb24xNjg1NQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
基本启动的进程例如以下:
SecondaryNameNode
DataNode
NodeManager
Jps
ResourceManager
NameNode
浏览器訪问:http://localhost:50070
![](http://img.blog.csdn.net/20140712150335156?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZW5zb24xNjg1NQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
http://localhost:8088 hadoop进程管理页面
![](http://img.blog.csdn.net/20140712150349687?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZW5zb24xNjg1NQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
这样就算是总体成功了。。
先上一张成功的图片,hadoop的伪分布式安装配置,仅仅要依照步骤来,有点基础的 基本没什么问题的。。eclipse的配置 弄了非常长一段时间才弄好的,中间出现各种意外的错误。。下篇博客将重点讲述这个艰难的过程。。。
今天来说说hadoop2.4的安装和配置吧~
1、环境的准备:
系统:CentOS
JDK版本号:jdk7
系统须要包括ssh服务的。
CentOS配置:/etc/profile 最后面加入例如以下:(此配置文件接的是上次编译hadoop2.4源代码的配置文件:/article/1367152.html)
export JAVA_HOME=/usr/java/jdk1.7.0_60 export PATH="$JAVA_HOME/bin:$PATH" export MAVEN_HOME=/home/hadoop/soft/apache-maven-3.2.1 export PATH="$MAVEN_HOME/bin:$PATH" export ANT_HOME=/home/hadoop/soft/apache-ant-1.9.4 export PATH="$ANT_HOME/bin:$PATH" export HADOOP_PREFIX=/home/hadoop/soft/hadoop/hadoop-2.4.0 export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH" export PATH="$JAVA_HOME/:$HADOOP_PREFIX/bin:$PATH" export HADOOP_PREFIX PATH CLASSPATH export LD_LIBRARY_PATH=$HADOOP_PREFIX/lib/native/
注意:这边要求下载好hadoop-2.4.0,而且解压到指定的文件夹(本人的:/home/hadoop/soft/hadoop)~
下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.4.0/
2、配置hadoop
hadoop-env.sh:
export JAVA_HOME=/usr/java/jdk1.7.0_60 export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"core-site.xml :
<configuration> <property> <name>fs.default.name</name> <value>hdfs://192.168.0.167:9000</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/hadoop/soft/hadoop/hadoop-2.4.0/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/hadoop/soft/hadoop/hadoop-2.4.0/dfs/data</value> </property> </configuration>hdfs-site.xml :
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/hadoop/soft/hadoop/hadoop-2.4.0/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/hadoop/soft/hadoop/hadoop-2.4.0/dfs/data</value> </property> </configuration>mapred-site.xml,这里2.4.0中没有这个文件,能够新建一个,或者直接改动mapred-site.xml.template
<configuration> <property> <name>mapreduce.jobtracker.address </name> <value>192.168.0.167:9001</value> </property> </configuration>
yarn-site.xml:
<configuration> <!-- Site specific YARN configuration properties --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
3,ssh免password登陆设置
命令:(此处要切换root用户,不要傻逼嘻嘻的一直使用个人用户)
ssh-keygen -t rsa -P ""直接回车就可以
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
试一下ssh localhost要是能免password登陆显示系统信息,就应该是对的。(这里有个输入password环节,是系统的password)
4、格式化hdfs:
命令:
./bin/hadoop namenode -format
出现上面这个图片那样的 说明格式化成功。。。。
5、启动hadoop
命令:
./sbin/start-all.sh新版本号的hadoop事实上不建议这么直接start-all,建议一步步来,须要start-dfs.sh等等一系列的操作,反正我们仅仅是做试验一样,我就没这么去讲究了。。
关闭的命令:
./sbin/stop-all.sh
启动成功例如以下:
基本启动的进程例如以下:
SecondaryNameNode
DataNode
NodeManager
Jps
ResourceManager
NameNode
浏览器訪问:http://localhost:50070
http://localhost:8088 hadoop进程管理页面
这样就算是总体成功了。。
相关文章推荐
- 【hadoop之翊】——基于CentOS的hadoop2.4.0伪分布安装配置
- CentOS安装配置Hadoop 1.2.1(伪分布模式)
- centos7 安装hadoop:伪分布式配置、全分布模式配置
- Hive1.1安装配置,基于最小安装的CentOS7、hadoop2.6、MySQL
- 64位CentOS6.8安装hadoop伪分布与64位win10Eclipse的Hadoop开发框架配置
- hadoop-2.3.0-cdh5.1.0伪分布安装(基于centos)
- 一脸懵逼学习基于CentOs的Hadoop集群安装与配置
- hadoop-2.3.0-cdh5.1.0伪分布安装(基于centos)
- centos6.8平台上安装hive(基于Mysql6.5 和hadoop2.7.3伪分布集群下)
- 虚拟机CentOS环境下Hadoop伪分布模式的安装与配置问题总结
- 完全分布模式hadoop集群安装配置之一安装第一个节点
- CentOS 下安装配置Hadoop
- hadoop学习笔记1--centos6.2 64位 最小化(minimal)安装配置
- fedora18安装hadoop配置伪分布模式
- Hadoop集群(第1期)_CentOS安装配置
- hadoop安装配置1之CentOS与VirtualBox的网络配置
- HBase入门笔记(三)-- 完全分布模式Hadoop集群安装配置
- CentOS下Hadoop伪分布模式安装笔记
- Hadoop---在window下的安装配置----基于cygwin的
- 完全分布模式hadoop集群安装配置之二 添加新节点组成分布式集群