Hadoop集群mini安装

安装过程

本文不采用源码安装

Linux版本为CentOS_6.4

hadoop版本为hadoop-2.6.4

java版本为jdk1.7.0_80

下载安装包

配置环境变量

修改配置属性

格式化，启动（别忘记配ssh免密登录）

下载安装包

在hadoop ecosystem 软件包下载地址中找到hadoop，选择相应的版本下载

上传软件包到任意一台节点

解压

配置环境变量

配置JAVA_HOME

配置HADOOP_HOME

修改配置属性

$HADOOP_HOME/etc/hadoop目录下

hadoop-env.sh

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

hadoop-env.sh

export JAVA_HOME=/home/hadoop/soft/jdk1.7.0_80

core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hdfsdata</value>
</property>
</configuration>

hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>node2:50090</value>
</property>
</configuration>

mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

yarn-site.xml

<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

格式化HDFS

$ hadoop namenode -format

启动

　将hadoop-2.6.4文件夹拷贝到其他节点

　创建/home/hadoop/hdfsdata目录

$ hadoop-daemon.sh start [namenode | datanode]

命令在$HADOOP_HOME/sbin下

将所有datanode节点的hostname配置在$HADOOP_HOME/etc/hadoop/slaves

node2

node3

node4

这样就可以使用start-dfs.sh命令启动namenode和集群中所有datanode

查看UI页面

启动namenode，打开HDFS UI页面

http://node1:50070