Hadoop2.7.2分布式部署3(安装部署hadoop分布式)

上一篇讲到hadoop2.7.2中各个节点之间ssh免密码登录，到此为止，master节点可以通过ssh访问node1和node2节点。下面将着重介绍hadoop2.7.2的分布式安装过程。

1.安装jdk

首先登录master节点。

mkdir /usr/java

然后将jdk1.8.0_20安装到/usr/java目录下。

然后执行命令：

scp -r jdk1.8.0_20/ node1:/usr/java

scp -r jdk1.8.0_20/ node2:/usr/java

以上命令会将master安装好的jdk复制到node1和node2相应的目录中，在复制之前要确保node1和node2已经创建了/usr/java目录，没有创建则需要创建。

然后修改三台机器的环境变量（每台机器都需要执行）

vi /etc/profile

加入以下内容：

JAVA_HOME=/usr/java/jdk1.8.0_20

export JRE_HOME=/usr/java/jdk1.8.0_20/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

保存文件，退出后执行命令：source /etc/profile

java -version 查看java版本，确保java环境变量配置成功。

2.安装hadoop分布式

登录master节点

将hadoop2.7.2.tar.gz文件上传到/home/hadoop/目录下。

执行解压命令:tar -zxvf hadoop2.7.2.tar.gz

添加hadoop环境变量：

vi /etc/profile

加入以下内容：

export HADOOP_HOME=/home/hadoop/hadoop-2.7.2

export PATH=$HADOOP_HOME/bin:$PATH
保存文件，执行命令: source /etc/profile

修改hadoop配置文件：

进入到$HADOOP/etc/hadoop目录下

配置hadoop-env.sh中的JAVA_HOME路径

JAVA_HOME=/usr/java/jdk1.8.0_20

配置yarn-env.sh

JAVA_HOME=/usr/java/jdk1.8.0_20

配置slaves

将node1和node2的节点名字加入到该文件中

vi slaves

node1

node2

保存并退出。

使用root用户对hadoop2.7.2目录改变所有者，改为hadoop用户：

chown -R hadoop.hadoop /home/hadoop/hadoop-2.7.2

切换到hadoop用户，然后cd /home/hadoop/hadoop-2.7.2目录下

执行命令创建以下目录：

mkdir tmp

mkdir hdfs

mkdir hdfs/name

mkdir hdfs/data

配置core-site.xml

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/home/hadoop/hadoop-2.7.2/tmp</value>

</property>

<property>

<name>io.file.buffer.size</name>

<value>131702</value>

</property>

配置hdfs-site.xml

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/home/hadoop/hadoop-2.7.2/hdfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/home/hadoop/hadoop-2.7.2/hdfs/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>3</value>

</property>

<property>

<name>dfs.http.address</name>

<value>master:50070</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>master:50090</value>

</property>

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

<property>

<name>dfs.blocksize</name>

<value>268435456</value>

<description>HDFS blocksize of 256MB for large file-systems.</description>

</property>

cp mapred-site.template mapred-site.xml

修改mapred-site.xml配置

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapreduce.jobhistory.address</name>

<value>master:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>master:19888</value>

</property>

</configuration>



修改[b]yarn-site.xml：配置[/b]

[b]<!-- Configurations for ResourceManager -->

<property>

<name>yarn.resourcemanager.address</name>

<value>master:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:8031</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>master:8033</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>master:8088</value>

</property>

<!-- Configurations for NodeManager -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

<description>Configuration to enable or disable log aggregation.Shuffle service that needs to be set for Map Reduce applications.</description>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

[/b]

将配置好的hadoop复制到其他节点

scp -r /home/hadoop/hadoop-2.7.2 hadoop@node1:/home/hadoop/hadoop-2.7.2

scp -r /home/hadoop/hadoop-2.7.2 hadoop@node2:/home/hadoop/hadoop-2.7.2

在启动hadoop之前，先进行hdfs的格式化，执行以下命令：hadoop namenode -format

格式化成功之后，cd /home/hadoop/hadoop-2.7.2/sbin目录下

执行: ./start-all.sh 启动hadoop

在master节点上执行jps命令

会看到如下信息：



在node节点上执行jps命令

会看到如下信息：



接着执行以下命令查看集群状态：hadoop dfsadmin -report



执行以下命令查看文件块组成
hdfs fsck / -files -blocks



接着打开浏览器访问 http://192.168.0.100:50070就可以看到如下界面


最后访问http://192.168.0.100:8088 可以看到如下界面：