hadoop2.6.5+zookeeper3.4.10+hbase1.3.1分布式集群搭建

一、配置环境

1.三台虚拟机ubuntu16.04
相关软件包[b]1. jdk1.8.0_112
[/b]2. hadoop2.6.53.zookeper3.4.104.hbase1.3.1注：此处采用了三台虚拟机，为方便维护，此处采取了相同的用户名，用户密码，相同的目录结构

二、安装Java环境

1.下载jdk1.8.0_112压缩包,解压（作者采用的解压路径为:/usr/lib/jvm/）2.配置/etc/profile文件：sudo vim /etc/profile在文档末尾追加：export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_112
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH保存配置文件退出应用更新后的配置文件source /etc/profile
执行java -version查看是否安装成功

三、搭建hadoop集群

三台虚拟机都需要进行以下配置1.分别修改三台主机的主机名，分别为：master，slave1，slave2注：master为主节点，slave1，slave2为从节点修改主机名命令：
sudo /etc/hostname将里面的ubuntu（ubuntu默认主机名）改成各自对应的主机名，保存退出
2.配置hosts文件（主机ip映射）使用ifconfig可查看当前主机ip


sudo vim /etc/hosts添加主机映射：（作者使用的动态ip，每当ip发生更改时都要修改本文件）


3.创建hadoop用户并加入到组hadoop中a.创建用户组hadoopsudo groupadd hadoopb.创建用户名为hadoop的用户并添加到组群hadoop中sudo useradd -s /bin/bash -d /home/hadoop -m -g hadoopc.重置新增hadoop用户密码（在上述创建用户过程中未设置密码，会导致无法登录）sudo passwd hadoop输入新密码d.将新用户hadoop加入到组群sudosudo adduser hadoop sudoc.切换到用户hadoopsu hadoop
4.配置ssh免秘钥登录（ssh安装略）a.执行ssh-keygen -t rsa一路回车什么都不要输入b.cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys修改权限（很重要!!!）sudo chmod 755 /home/hadoopsudo chmod 700 /home/hadoop/.sshsudo chmod 600 /home/hadoop/.ssh/authorized_keys
测试是否配置成功：ssh localhost


使用exit退出
d.各主机互相能免密码登录（确保三台主机能互相ping通）此处以master主机为例将本机的公钥发送到另外两台主机的家目录下：scp ~/.ssh/id_rsa.pub hadoop@192.168.0.115:~/scp ~/.ssh/id_rsa.pub hadoop@192.168.0.105:~/
(此处的hadoop就是另外两台主机前面所创建的新用户的用户名，后面是其对应的ip)将另外两台主机发送过来的公钥追加到authorized_keys中cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
注：发送时不要覆盖了其他主机发送的公钥测试是否配置成功ssh slave1（不需要输入密码，记得退出exit）
以下只在主节点master上配置，配置完拷贝到另外两台从节点上5.下载并解压hadoop文件到家目录下


进入hadoop-2.6.5下在该目录下创建tmp文件夹修改以下文件：etc/hadoop/hadoop-env.sh


etc/hadoop/core-site.xml


etc/hadoop/hdfs-site.xml


etc/hadoop/mapred-site.xml


etc/hadoop/slaves


etc/hadoop/yarn-site.xml<configuration>
<property>  
<name>yarn.resourcemanager.hostname</name>  
<value>master</value>
</property>  
<property>  
<name>yarn.nodemanager.aux-services</name>  
<value>mapreduce_shuffle</value>  
</property>  
</configuration>
以下为三台主机都需要进行的配置：修改/etc/profile文件：export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_112
export HADOOP_HOME=/home/hadoop/hadoop-2.6.5
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATHsource /etc/profile以下只在主节点上master进行将master主机上配置好的hadoop-2.6.5发送到另外两台从节点scp -r ~/hadoop-2.6.5 hadoop@192.168.0.115:~/scp -r ~/hadoop-2.6.5 hadoop@192.168.0.105:~/
输入hadoop version可以查看当前hadoop版本
在主节点master上初始化hadoop进入hadoop目录hadoop-2.6.5/bin/执行：hadoop namenode -format切换到hadoop-2.6.5的sbin目录下执行：bash start-all.sh启动hadoop集群启动完成后查看进程：jpsmaster节点上：


slave节点上：

四、搭建zookeper集群

以下只在主节点上配置：下载zookeper3.4.10并解压到家目录下进入zookeper3.4.10目录下：将conf/zoo_example.cfg复制一份并重命名为zoo.cfg修改/conf/zoo.cfg


在zookeper-3.4.10目录下新建data文件夹，在data文件夹下创建文件myidmaster上该文件内容为1，slave1为2，slave2为3
将zookeper文件夹发送到从节点上scp -r ~/zookeper-3.4.10 hadoop@192.168.0.115:~/scp -r ~/zookeper-3.4.10 hadoop@192.168.0.105:~/修改前面提到的myid的值
以下需要在三台主机上都执行：启动zookeper集群进入zookeper-3.4.10目录下的bin目录下执行：./zkServer.sh start启动zookeper




执行：./zkServer.sh status可查看启动状态，三台主机中有一台会成为leader，其余为follower

五、搭建hbase集群

以下只在master节点上配置：
1.下载hbase1.3.1并解压到家目录下进入hbase-1.3.1目录下修改以下文件：conf/hbase-env.sh



conf/hase.site.xml





conf/regionservers



将hbase1.3.1文件夹发送到从节点上scp -r ~/hbase-1.3.1 hadoop@192.168.0.115:~/scp -r ~/hbase-1.3.1 hadoop@192.168.0.105:~/
以下为三台主机都要进行的配置修改/etc/profile


source /etc/profile
在主节点的hbase-1.3.1目录下的bin目录中执行：bash start-hbase.sh


查看各节点启动情况：




在主节点master上查看各从节点状况：