搭建HBase完全分布式(高可用)
2018-01-11 17:37
381 查看
HBase分布式搭建(我的配置如下)
PC01 PC02 PC03
ZooKeeper ZooKeeper ZooKeeper
NameNode NameNode
DateNode DateNode DateNode
JournalNode JournalNode JournalNode
ResourceManager
NodeManager NodeManager NodeManager
==============HBase==================
PC01 PC02 PC03
Master Master
RegionServer RegionServer RegionServer
1##解压配置hbase(在PC01进行)
tar -zxvf hbase-0.98.6-cdh5.3.6.tar.gz -C /opt/modules/cdh/
##配置hbase-env.sh
export JAVA_HOME=/opt/modules/jdk1.7.0_67
29行
export HBASE_MANAGES_ZK=false
124行
## 配置hbase-site.xml
<!-- 指定hbase在HDFS上存储的路径
-->
<property>
<name>hbase.rootdir</name>
<value>hdfs://ns1/hbase</value>
</property>
<!-- 指定hbase是分布式的
-->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- 指定zk的地址,多个用“,”分割
-->
<property>
<name>hbase.zookeeper.quorum</name>
<value>[PC01]:2181,[PC02]:2181,[PC03]:2181</value>
</property>
<!-- 声明哪个是master -->
<property>
<name>hbase.master</name>
<value>hdfs://[PC01]:60000</value>
</property>
3##配置HA(在hbase安装目录下的conf目录下--$HBASE_HOME/conf),新建一个名称为backup-masters的文件(固定的,必须是这个名字)
vi conf/backup-masters
[PC02]
4.##配置regionservers
[PC01]
[PC02]
[PC03]
5.拷贝$HADOOP_HOME/etc/hadoop下的core-site.xml和hdfs-site.xml文件到$HBASE_HOME/conf目录下
cp /opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/etc/hadoop/hdfs-site.xml /opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/etc/hadoop/core-site.xml /opt/modules/cdh/hbase-0.98.6-cdh5.3.6/conf
**如果hadoop集群配置了HA,则必须要拷贝hadoop集群的core-site.xml和hdfs-site.xml这两个配置到hbase的安装目录下的conf下
6.分发配置文件
scp -r hbase-0.98.6-cdh5.3.6/ linux3:/opt/modules/cdh/
scp -r hbase-0.98.6-cdh5.3.6/ linux4:/opt/modules/cdh/
7.启动hbase(PC01)---注意启动顺序:zookeeper->hadoop->hbase
## 启动zk(三台分别启动)
bin/zkServer.sh start
## 启动hadoop-dfs(PC01)
sbin/start-dfs.sh;
## 启动hadoop-yarn(PC02-我的ResourceManager HA的在PC02和PC03,请按照自己实际的配置来)
sbin/start-yarn.sh;
sbin/mr-jobhistory-daemon.sh start historyserver //历史服务进程可不启动
## 启动hbase(PC01)
bin/start-hbase.sh
启动正常的进程参考如下(HADOOP配置了NameNode HA和ResourceManager HA):
[PC01]
9195 NameNode
10045 HMaster
4312 QuorumPeerMain
10145 HRegionServer
9805 NodeManager
9303 DataNode
9476 JournalNode
10558 Jps
[PC02]
7008 HMaster
6932 HRegionServer
6192 JournalNode
3264 QuorumPeerMain
7379 Jps
6421 ResourceManager
6526 NodeManager
6024 NameNode
6093 DataNode
[PC03]
4675 NodeManager
4945 HRegionServer
4552 JournalNode
5168 Jps
3028 QuorumPeerMain
4475 DataNode
4837 ResourceManager
PC01 PC02 PC03
ZooKeeper ZooKeeper ZooKeeper
NameNode NameNode
DateNode DateNode DateNode
JournalNode JournalNode JournalNode
ResourceManager
NodeManager NodeManager NodeManager
==============HBase==================
PC01 PC02 PC03
Master Master
RegionServer RegionServer RegionServer
1##解压配置hbase(在PC01进行)
tar -zxvf hbase-0.98.6-cdh5.3.6.tar.gz -C /opt/modules/cdh/
##配置hbase-env.sh
export JAVA_HOME=/opt/modules/jdk1.7.0_67
29行
export HBASE_MANAGES_ZK=false
124行
## 配置hbase-site.xml
<!-- 指定hbase在HDFS上存储的路径
-->
<property>
<name>hbase.rootdir</name>
<value>hdfs://ns1/hbase</value>
</property>
<!-- 指定hbase是分布式的
-->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- 指定zk的地址,多个用“,”分割
-->
<property>
<name>hbase.zookeeper.quorum</name>
<value>[PC01]:2181,[PC02]:2181,[PC03]:2181</value>
</property>
<!-- 声明哪个是master -->
<property>
<name>hbase.master</name>
<value>hdfs://[PC01]:60000</value>
</property>
3##配置HA(在hbase安装目录下的conf目录下--$HBASE_HOME/conf),新建一个名称为backup-masters的文件(固定的,必须是这个名字)
vi conf/backup-masters
[PC02]
4.##配置regionservers
[PC01]
[PC02]
[PC03]
5.拷贝$HADOOP_HOME/etc/hadoop下的core-site.xml和hdfs-site.xml文件到$HBASE_HOME/conf目录下
cp /opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/etc/hadoop/hdfs-site.xml /opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/etc/hadoop/core-site.xml /opt/modules/cdh/hbase-0.98.6-cdh5.3.6/conf
**如果hadoop集群配置了HA,则必须要拷贝hadoop集群的core-site.xml和hdfs-site.xml这两个配置到hbase的安装目录下的conf下
6.分发配置文件
scp -r hbase-0.98.6-cdh5.3.6/ linux3:/opt/modules/cdh/
scp -r hbase-0.98.6-cdh5.3.6/ linux4:/opt/modules/cdh/
7.启动hbase(PC01)---注意启动顺序:zookeeper->hadoop->hbase
## 启动zk(三台分别启动)
bin/zkServer.sh start
## 启动hadoop-dfs(PC01)
sbin/start-dfs.sh;
## 启动hadoop-yarn(PC02-我的ResourceManager HA的在PC02和PC03,请按照自己实际的配置来)
sbin/start-yarn.sh;
sbin/mr-jobhistory-daemon.sh start historyserver //历史服务进程可不启动
## 启动hbase(PC01)
bin/start-hbase.sh
启动正常的进程参考如下(HADOOP配置了NameNode HA和ResourceManager HA):
[PC01]
9195 NameNode
10045 HMaster
4312 QuorumPeerMain
10145 HRegionServer
9805 NodeManager
9303 DataNode
9476 JournalNode
10558 Jps
[PC02]
7008 HMaster
6932 HRegionServer
6192 JournalNode
3264 QuorumPeerMain
7379 Jps
6421 ResourceManager
6526 NodeManager
6024 NameNode
6093 DataNode
[PC03]
4675 NodeManager
4945 HRegionServer
4552 JournalNode
5168 Jps
3028 QuorumPeerMain
4475 DataNode
4837 ResourceManager
相关文章推荐
- Hbase完全分布式安装-连接hadoop2 namenode高可用
- HBase的完全分布式的搭建与部署,以及多master
- HBase0.98 + Hadoop2.6 Fully Distributed 完全分布式环境搭建
- HBase之完全分布式搭建
- hbase完全分布式环境搭建,教你一次性成功!
- hadoop,zookeeper,hbase搭建完全分布式集群回忆录
- Hadoop2.2.0 HA高可用分布式集群搭建(hbase,hive,sqoop,spark)
- 搭建HBase完全分布式集群
- hbase+hadoop完全分布式环境搭建
- hadoop+hbase+zookeeper完全分布式环境搭建
- Hadoop、Hbase完全分布式搭建 推荐
- 独立模式、伪分布模式、hbase和hadoop HA(高可用)完全分布式模式。集成配置
- 详解VMware12使用三台虚拟机Ubuntu16.04系统搭建hadoop-2.7.1+hbase-1.2.4(完全分布式)
- Hadoop-04-HBase完全分布式环境搭建
- Hbase伪分布式和完全分布式搭建步骤
- Hbase的完全分布式环境的搭建及常见错误的排解(hbase启动后自动关闭的问题分析)
- VMware12使用三台虚拟机Ubuntu16.04系统搭建hadoop-2.7.1+hbase-1.2.4(完全分布式)
- hadoop完全分布式环境搭建,整合zookeeper,hbase,spark,hive,hue
- HBase--完全分布式搭建
- Hbase完全分布式搭建