hadoop学习笔记之hadoop伪分布集群搭建（三）

本次hadoop伪分布搭建环境：Windows10_64位+VMware9.0+Centos 6.4（32位）

默认以上环境已经配置好，下面开始进行hadoop伪分布集群安装......

============================================================

内容如下：

一、给主机服务器（Centos 6.4）配置IP地址

二、安装jdk，并配置环境变量

三、安装hadoop

四、ssh免密登录

五、HDFS & MapReduce 运行测试

============================================================

一、安装hadoop

首先去hadoop官网下载相应的hadoop安装包，这里我们使用的是版本是hadoop-2.4.1

下载好以后，将安装包上传到服务器



然后解压安装到之前建的app文件夹中  tar -zxvf hadoop-2.4.1.tar.gz -C app/

解压完成可以查看相应的文件夹内容如下：
bin：包含一些可执行的脚本文件
etc：包含一些配置文件
include和lib：包含一些本地库文件
sbin：系统相关的脚本文件，包括启动和停止等

share：jar包相关的文件



可以打开share文件夹查看一下
common：包含一些公共组件和模块
hdfs：包含hdfs相关的组件
httpfs：包含一些通过http协议上传文件的相关组件

sbin：系统相关的脚本文件，包括启动和停止等

mapreduce：包含mapreduce相关的组件

tools：工具包

yarn：包含yarn框架相关的组件



此时想要运行hadoop，还需要进行一些配置

在etc/hadoop/下包含了一些配置文件



（1）环境变量配置

下面进行修改环境变量配置，hadoop启动时需要获得jdk环境，修改的目的是将路径写死，防止获取路径失败
使用命令vi hadoop-env.sh， 将=${JAVA_HOME}修改为自己的jdk安装目录（绝对路径）
我这里的jdk解压到了/home/hadoop/app/jdk1.7.0_65



如果不记得JAVA_HOME的路径，可以使用命令 echo $JAVA_HOME获得，该命令是获得系统中变量名为JAVA_HOME的值（JAVA_HOME在安装jdk的时候配置过）



（2）配置core-site.xml文件

vi core-site.xml  添加两个变量，如下

<configuration>
<property>
<name>fs.defaultFS</name>    #配置默认文件系统
<value>hdfs://work01:9000/</value>    #提供主节点机器名字，默认端口号为9000
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/hadoop-2.4.1/data/</value>   #配置数据存放目录
</property>

</configuration>

（3）配置hdfs-site.xml文件

vi hdfs-site.xml  添加一个变量，如下

<configuration>
<property>
<name>dfs.replication</name> #设置数据副本数，一般为3最合适
<value>1</value> #因为本次是伪分布，所以只能是1，否则报错，原因是没有其他节点可供数据存储
</property>
</configuration>



（4）配置mapred-site.xml

默认安装文件路径下只有mapred-site.xml.template文件，MapReduce不会去读这个文件，因此需要我们把这个文件改一下名字，使用命令 mv mapred-site.cml.template mapred-site.xml 即可
然后使用vi mapred-site.xml 添加一个变量如下：

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

（5）配置yarn-site.xml文件

vi yarn-site.xml  添加两个变量如下

<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>work01</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

</configuration>

（6）关闭系统防火墙

因为运行hadoop需要开启某些端口，系统防火墙默认是将其关闭的，为了不一个一个找出端口并打开，所以直接关掉防火墙就可以了

查看防火墙状态：  sudo service iptables status

关闭防火墙：sudo service iptables stop



以上这种方式只能关闭一次防火墙，下次系统启动的时候还是会开启，因为防火墙默认是自启动的，因此还需要将自启动防火墙关闭



========================================================

经过以上这些配置之后，就可以启动hadoop了

可以在hadoop安装目录下的bin文件夹下找到hadoop运行启动


也可以直接使用hadoop命令运行启动，为了以后能够方便的直接使用hadoop命令启动，我们需要将hadoop的bin路径添加到环境变量中
sudo vi /etc/profile   添加如下内容：

export HADOOP_HOME=/home/hadoop/app/hadoop-2.4.1
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

更改之后记得运行source /etc/profile使更改生效，这样我们就可以在任何地方启动hadoop了


第一次启动需要初始化
使用命令 hadoop namenode -format





可以看出，初始化就是在data文件夹下建立了一些子文件夹和文件等



（1）启动hdfs

命令 start-hdfs.sh



注意到有两个问题（疑问）：
（1）每次启动一个进程都需要远程登录，输入密码，可是我们登录的是本地的机器啊，为什么还需要密码呢？
（2）对于DataNode，对应的机器名称是localhost，但是我们之前没有设置DataNode，只是设置了NameNode，它怎么知道是哪个机器呢？
首先对于第（2）个问题，一定是某个地方设置了DataNode的对应的机器名称，否则怎么可能去找呢？？
其实在hadoop安装路径的配置文件中有一个slaves的文件，这里面就是设置哪些机器是DataNode



这里面有一个默认值localhost，启动时就去读取这个文件
vi slaves 打开，



可以进行修改，设置指定的DataNode机器名，本次就只有一个work01



（2）启动yarn

命令start-yarn.sh



这里resourcemanager 我们之前设置过，而 nodemanager同样会去读取slaves文件，刚才我们设置过为work01，所以这次就是work01



这里可以看到所有的相关进程都已经启动
--------------------------------------------------------------------------------------------------------------
总结：可以发现，hdfs和yarn集群启动时只需要在一台机器上运行start-dfs.sh和start-yarn.sh就可以，它可以自动远程登录其他节点帮我们启动，但是这里有一个问题，就是我们每次远程登录启动的时候都需要输入密码，一台机器或者数量少的我们还可以手动输入，但是如果是1000台甚至上万台，这个方法肯定是不行了（因为耗费时间，而且时间一长，某些进程就会停止，最后导致启动失败），那怎么办呢？可以使用ssh免密登录

未完待续。。。。。