Zookeeper集群搭建
2017-05-18 17:36
288 查看
Zookeeper集群搭建
下载安装
配置
1zoocof文件配置
2zkEnvsh文件配置
分发到其他节点并创建myid文件
启动测试
总结
节点情况在Hadoop全分布集群搭建(1)——设置主机名与域名解析中有介绍,如下:
然后,我们需要在每个节点的dataDir目录(就是上面配置的/home/hadoop/zookeeper/data目录)下创建myid文件。根据上面server.id的配置
Master节点上的myid文件内容是42
Slave1节点上的myid文件内容是40
Slave2节点上的myid文件内容是41
注意1:笔者进行部署的时候出过错,日志提示没有zookeeper_server.pid文件,于是笔者也建立了这个文件,内容跟myid的内容一样(也有一说文件名是pid的,不知道为什么,以后再细究)
启动之后,jps命令可以看到多了QuorumPeerMain。
(2)回答上面的疑问,为什么这里4个节点只配置了3个(为什么zookeeper只配置奇数个节点)。
一般情况下,zookeeper的节点只配置奇数个。原因是zookeeper有这样一个特性:集群中只要有过半的机器是正常工作的,那么整个集群对外就是可用的。也就是说如果有2个zookeeper,那么只要有1个死了,zookeeper就不能用了,因为1没有过半,所以2个zookeeper的死亡容忍度为0;同理,要是有3个zookeeper,一个死了,还剩下2个正常的,过半了,所以3个zookeeper的容忍度为1;同理,2n和2n-1的容忍度是一样的,都是n-1,所以为了更加高效,只配置奇数个节点就可以了。
下载安装
配置
1zoocof文件配置
2zkEnvsh文件配置
分发到其他节点并创建myid文件
启动测试
总结
Zookeeper集群搭建
我们下面的操作,都在hadoop用户下进行,也要保证安装目录所属和权限开放(依然是chown命令和chmod命令,参照Hadoop全分布集群搭建(3)——Hadoop安装与配置)。节点情况在Hadoop全分布集群搭建(1)——设置主机名与域名解析中有介绍,如下:
节点名称 | hostName | IP地址 |
---|---|---|
Master | Master | 192.168. 101.42 |
Slave1 | Slave1 | 192.168. 101.40 |
Slave2 | Slave2 | 192.168. 101.41 |
Slave3 | Slave3 | 192.168. 101.43 |
1.下载安装
从http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/下载(这里笔者用的就是3.4.6版本)压缩包,然后解压,命名为zookeeper-3.4.6,将该目录复制到/usr/soft/目录下面。2.配置
在此之前,先建立zookeeper的数据目录,在/home/hadoop目录下,建立新文件夹名为zookeeper,在该新目录下下建立名为data的目录和名为logs的目录。2.1zoo.cof文件配置
进入到zookeeper-3.4.6/conf目录下,编辑zoo.cfg文件,如下:#zookeeper中使用的基本时间单位, 毫秒值. tickTime=2000 #ZooKeeper集群模式下包含多个zk进程,其中一个进程为leader,余下的进程为follower。当follower最初与leader建立连接时,它们之间会传输相当多的数据,尤其是follower的数据落后leader很多。#initLimit配置follower与leader之间建立连接后进行同步的最长时间。 initLimit=5 #配置follower和leader之间发送消息,请求和应答的最大时间长度。 syncLimit=2 #数据目录. 可以是任意目录.如果没有配置dataLogDir,那么事务日志也会存储在此目录。集群模式下,该目录下有一个myid文件。myid文件的内容只有一行,且内容只能为1 - 255之间的数字,这个数字亦即下面server.id中的id,表示zk进程的id。 dataDir=/home/hadoop/zookeeper/data #监听client连接的端口号. clientPort=2181 #server.id=host:port1:port2,其中id为一个数字,表示zk进程的id,这个id也是dataDir目录下myid文件的内容。 host是该zk进程所在的IP地址,port1表示follower和leader交换消息所使用的端口,port2表示选举leader所使用的端口。 server.42=Master:2888:3888 server.41=Slave2:2888:3888 server.40=Slave1:2888:3888
2.2zkEnv.sh文件配置
进入到zookeeper-3.4.6/bin目录下,编辑zkEnv.sh文件,在文件中除去注释的配置开始的地方,加入下面语句ZOO_LOG_DIR=/home/hadoop/zookeeper/logs #指定日志目录
3.分发到其他节点并创建myid文件
因为我们在zoo.cfg中配置了三个节点(分别是Master、Slave1、Slave2。其实我们有四个节点,为什么只配置三个,后面会解释),所以在一个节点上完成上述配置之后,将zookeeper-3.4.6目录拷贝到其他另外两个节点。然后,我们需要在每个节点的dataDir目录(就是上面配置的/home/hadoop/zookeeper/data目录)下创建myid文件。根据上面server.id的配置
Master节点上的myid文件内容是42
Slave1节点上的myid文件内容是40
Slave2节点上的myid文件内容是41
注意1:笔者进行部署的时候出过错,日志提示没有zookeeper_server.pid文件,于是笔者也建立了这个文件,内容跟myid的内容一样(也有一说文件名是pid的,不知道为什么,以后再细究)
4.启动测试
zookeeper没有像hadoop或者spark那样的start-all的命令,所以必须在每台节点上都要执行启动命令(关闭也是)。启动脚本是zookeeper-3.4.6/bin目录下的zkServer.sh,相关命令如下:#启动zookeeper集群 zkServer.sh start #出现如下证明正确启动 JMX enabled by default Using config: /usr/soft/zookeeper-3.4.6/bin/../conf/zoo.cfg Mode: follower #Mode或者是leader,leader只有一个,其余的是follower #带日志的启动 zkServer.sh start-foreground #查看zookeeper状态 zkServer.sh status #关闭 zkServer.sh stop
启动之后,jps命令可以看到多了QuorumPeerMain。
5.总结
(1)还是那句话,出错了,或者启动不了去看日志文件,他可能刚开始会抛出connect timeout/refused等的异常,也不一定是真的出错了,因为你启动一个节点,他就会去连接配置中的其他节点,这个时候其他节点还没来得及启动呢,只要全部启动后,能选举,查看状态正常就可以了。(2)回答上面的疑问,为什么这里4个节点只配置了3个(为什么zookeeper只配置奇数个节点)。
一般情况下,zookeeper的节点只配置奇数个。原因是zookeeper有这样一个特性:集群中只要有过半的机器是正常工作的,那么整个集群对外就是可用的。也就是说如果有2个zookeeper,那么只要有1个死了,zookeeper就不能用了,因为1没有过半,所以2个zookeeper的死亡容忍度为0;同理,要是有3个zookeeper,一个死了,还剩下2个正常的,过半了,所以3个zookeeper的容忍度为1;同理,2n和2n-1的容忍度是一样的,都是n-1,所以为了更加高效,只配置奇数个节点就可以了。
相关文章推荐
- hadoop1.2.1+zookeeper3.4.6+hbase0.94集群环境搭建
- STORM_0004_windows下zookeeper的伪集群的搭建
- Ubuntu16.04 下 Spark2.0.2+Hadoop2.7.3+Zookeeper3.4.9+HBase1.1.7集群环境搭建--4
- (2) windows下zookeeper伪集群搭建
- 快使搭建zookeeper集群
- zookeeper集群环境搭建
- Zookeeper集群搭建
- 小白从头到脚搭建zookeeper集群的过程
- zookeeper研究笔记(二)—— 集群模式搭建
- zookeeper集群搭建
- 超详细zookeeper集群搭建及解析说明
- linux 下搭建zookeeper集群 踩坑经过
- (伪分布式)zookeeper+solr搭建集群(2)
- 基于zookeeper搭建solr 集群 之添加文本域
- Hadoop 2.4.0+zookeeper3.4.6+hbase0.98.3分布式集群搭建
- zookeeper集群搭建
- window下搭建zookeeper集群示例
- Zookeeper 01. 集群搭建与使用
- zookeeper集群的搭建以及hadoop ha的相关配置
- 大数据教程(3.5):zookeeper集群环境搭建