1003-HBase集群搭建
2015-06-08 17:52
387 查看
一、HBase集群规划
在HBase中分成两个角色,分别为HMaster和HRegionServer
HBase的数据最终存储在DataNode,故HRegionServer放在cloud05,cloud06,cloud07
HMaster负责高可用,需要ZooKeeper集群,故ZooKeeper放在cloud05,cloud06,cloud07
HBase建立高可用,故HMaster需要在cloud01,cloud02上
二、HBase集群搭建步骤
1.上传HBase安装包
2.解压
[hadoop@cloud01 ~]$ tar -zxvf hbase-0.96.2-hadoop2-bin.tar.gz -C app/
3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了)
注意:由于hbase最终数据存放到hdfs,故需要要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下
[hadoop@cloud01 conf]$ pwd
/home/hadoop/app/hbase-0.96.2-hadoop2/conf
[hadoop@cloud01 conf]$ scp -r /home/hadoop/app/hadoop-2.4.1/etc/hadoop/hdfs-site.xml .
[hadoop@cloud01 conf]$ scp -r /home/hadoop/app/hadoop-2.4.1/etc/hadoop/core-site.xml .
3.1在cloud01上修改hbase-env.sh
export J***A_HOME=/usr/java/jdk1.7.0_55
//告诉hbase使用外部的zk
export HBASE_MANAGES_ZK=false
3.2在cloud01上vim hbase-site.xml
<configuration>
<!-- 指定hbase在HDFS上存储的路径 -->
<property>
<name>hbase.rootdir</name>
<value>hdfs://ns1/hbase</value>
</property>
<!-- 指定hbase是分布式的 -->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- 指定zk的地址,多个用“,”分割 -->
<property>
<name>hbase.zookeeper.quorum</name>
<value>itcast05:2181,itcast06:2181,itcast07:2181</value>
</property>
</configuration>
3.3 在cloud01上指定哪些机器为regionserver,不单独指定master。其中:在哪个机器上启动,哪台就是master,在regionservers文件说明要启动的HRegionServer
vim regionservers
cloud05
cloud06
cloud07
3.4在cloud01上拷贝hbase到其他节点
scp -r /home/app/hbase-0.96.2-hadoop2/ cloud02:/home/app/
scp -r /home/app/hbase-0.96.2-hadoop2/ cloud05:/home/app/
scp -r /home/app/hbase-0.96.2-hadoop2/ cloud06:/home/app/
scp -r /home/app/hbase-0.96.2-hadoop2/ cloud07:/home/app/
其中: cloud01,cloud02分别为Hmaster,cloud05,cloud06,cloud07 分别为HRegionServer
4.将配置好的HBase拷贝到每一个节点并同步时间。
5.启动所有的hbase
分别启动zk
./zkServer.sh start
启动hdfs集群
start-dfs.sh
启动hbase,在主节点上运行:
start-hbase.sh
6.通过浏览器访问hbase管理页面
192.168.2.31:60010
7.为保证集群的可靠性,要启动多个HMaster
hbase-daemon.sh start master
访问192.168.2.31:60010
访问192.168.2.32:60010
在HBase中分成两个角色,分别为HMaster和HRegionServer
HBase的数据最终存储在DataNode,故HRegionServer放在cloud05,cloud06,cloud07
HMaster负责高可用,需要ZooKeeper集群,故ZooKeeper放在cloud05,cloud06,cloud07
HBase建立高可用,故HMaster需要在cloud01,cloud02上
二、HBase集群搭建步骤
1.上传HBase安装包
2.解压
[hadoop@cloud01 ~]$ tar -zxvf hbase-0.96.2-hadoop2-bin.tar.gz -C app/
3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了)
注意:由于hbase最终数据存放到hdfs,故需要要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下
[hadoop@cloud01 conf]$ pwd
/home/hadoop/app/hbase-0.96.2-hadoop2/conf
[hadoop@cloud01 conf]$ scp -r /home/hadoop/app/hadoop-2.4.1/etc/hadoop/hdfs-site.xml .
[hadoop@cloud01 conf]$ scp -r /home/hadoop/app/hadoop-2.4.1/etc/hadoop/core-site.xml .
3.1在cloud01上修改hbase-env.sh
export J***A_HOME=/usr/java/jdk1.7.0_55
//告诉hbase使用外部的zk
export HBASE_MANAGES_ZK=false
3.2在cloud01上vim hbase-site.xml
<configuration>
<!-- 指定hbase在HDFS上存储的路径 -->
<property>
<name>hbase.rootdir</name>
<value>hdfs://ns1/hbase</value>
</property>
<!-- 指定hbase是分布式的 -->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- 指定zk的地址,多个用“,”分割 -->
<property>
<name>hbase.zookeeper.quorum</name>
<value>itcast05:2181,itcast06:2181,itcast07:2181</value>
</property>
</configuration>
3.3 在cloud01上指定哪些机器为regionserver,不单独指定master。其中:在哪个机器上启动,哪台就是master,在regionservers文件说明要启动的HRegionServer
vim regionservers
cloud05
cloud06
cloud07
3.4在cloud01上拷贝hbase到其他节点
scp -r /home/app/hbase-0.96.2-hadoop2/ cloud02:/home/app/
scp -r /home/app/hbase-0.96.2-hadoop2/ cloud05:/home/app/
scp -r /home/app/hbase-0.96.2-hadoop2/ cloud06:/home/app/
scp -r /home/app/hbase-0.96.2-hadoop2/ cloud07:/home/app/
其中: cloud01,cloud02分别为Hmaster,cloud05,cloud06,cloud07 分别为HRegionServer
4.将配置好的HBase拷贝到每一个节点并同步时间。
5.启动所有的hbase
分别启动zk
./zkServer.sh start
启动hdfs集群
start-dfs.sh
启动hbase,在主节点上运行:
start-hbase.sh
6.通过浏览器访问hbase管理页面
192.168.2.31:60010
7.为保证集群的可靠性,要启动多个HMaster
hbase-daemon.sh start master
访问192.168.2.31:60010
访问192.168.2.32:60010
相关文章推荐
- 打开 console 调试窗口
- C++中的Lambda表达式详解
- python网络爬虫进入(一)——简单的博客爬行动物
- 感悟1
- uboot启动过程完全分析(mini2440)
- Mysql 通配符
- 异步加载AsyncTask
- oracle 物化视图导入导出报错
- 玩转iOS开发 - SVN 和 Git 使用详解
- 玩转iOS开发 - 网络请求
- ci的执行流程
- no known conversion for argument 1 from ‘[some_class]' to ‘[some_class]&’ 传const引用而非引用
- 实现Loaders
- Cordova4.0 系列 -- 常用命令(2)
- 《推荐系统》--基于知识推荐
- ZOJ 2760 How Many Shortest Path
- 浅谈android中的目录结构
- ubunbtu 更新
- How-to: resolve " java.lang.OutOfMemoryError: unable to create new native thread" for hbase thrift
- 本人初学android,希望大神帮忙指点学习路线,现在好迷茫