hadoop 2.5.2 完全分布式集群环境搭建 (2)

经过一番艰辛的过程，搭建好hadoop2.5.2的完全分布式集群环境，本文描述环境的搭建，后续文章将描述开发环境及HDFS API 及MapReduce例程编写及运行过程，转载请注明出处(/article/9870753.html)

上一篇文章描述了 CentOS 7 及 JDK 环境的安装，本文描述 zookeeper 和 hadoop 服务器的安装过程

1. 安装ZooKeeper

集群规划是在 hadoop03, hadoop04, hadoop05 机器上安装zookeeper。

在 hadoop03上按如下顺序操作：

(1) 解压 zookeeper 到 /opt，并做链接 /usr/local/zookeeper

# tar xvfz zookeeper-3.4.6.tar.gz -C /opt
# ln -s /opt/zookeeper-3.4.6 /usr/local/zookeeper

(2) 创建zookeeper数据文件目录和日志文件目录

# cd /data
# mkdir zookeeper.data
# mkdir zookeeper.logs

注：/data 目录最好放在空间比较大的分区上，最好不要放到根分区上

(3) 修改zoo.cfg文件

# cd /usr/local/zookeeper/conf
# vi zoo.cfg

zoo.cfg 文件内容如下：

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper.data
dataLogDir=/data/zookeeper.logs
clientPort=2181
#autopurge.snapRetainCount=3
#autopurge.purgeInterval=1

server.1=hadoop03:2888:3888
server.2=hadoop04:2888:3888
server.3=hadoop05:2888:3888

因为之前我们配置好了服务器ssh免登陆，现在可以直接将安装好的zookeeper 复制到 hadoop04, hadoop05节点上。

# scp -r /opt/zookeeper-3.4.6 hadoop04:/opt
# scp -r /opt/zookeeper-3.4.6 hadoop05:/opt

然后在各节点上做好 /usr/local/zookeeper 的链接。



(4) 为每个zookeeper节点创建myid文件

在每个zookeeper节点的数据文件目录里，创建myid文件，hadoop03上文件的内容为1，hadoop04上为2，hadoop05上为3

# cd /data/zookeeper.data
# echo 1 > myid

2. 启动ZooKeeper

因为先前我们在 /etc/profile环境变量里配置了zookeeper的路径，所以现在可以直接启动zookeeper，在hadoop03上执行下列命令即可。

# zkServer.sh start

然后分别在hadoop04，hadoop05上也执行上述命令。

接下来查看下zookeeper进程及状态

# jps

可以看到QuorumPeerMain进程已经启动



看看zookeeper的状态

# zkServer.sh status

节点hadoop03上的zookeeper状态为 follower，为跟随者。



节点hadoop04上的zookeeper状态为 leader，为master，zookeeper的写操作都是由leader调度的，zookeeper的节点数要求为单数，只要半数+1个节点写成功，leader则认为写操作成功。

好，至此zookeeper服务器集群环境搭建好了，下一篇文章描述hadoop集群环境的搭建。