hadoop2.2.0对应HBase安装说明

注：安装配套hadoop2.2.0版本的HBase,需要hbase-0.96.2-hadoop2-bin.tar.gz

1、安装HBase（在hadoop1上）

将hbase-0.96.2-hadoop2-bin.tar.gz上传到/usr/local目录下，并解压缩

tar -zxf hbase-0.96.2-hadoop2-bin.tar.gz

将解压缩后生成的文件重命名：

mv hbase-0.96.2-hadoop2 hbase

2、此篇是基于上篇hadoop2.2.0安装成功后安装的HBase，此时要保证集群中每台主机的时间相同，因此需要设置NTP服务。

所有节点安装相关组件： yum install ntp

完成后，配置开机启动： chkconfig ntpd on

检查是否设置成功： chkconfig --list ntpd 其中2-5为on状态就代表成功。

一下操作在主节点完成：

ntp服务只有一个配置文件，配置好了就OK。 这里只给出有用的配置，不需要的配置都用#注掉，这里就不在给出：

vi /etc/ntp.conf

driftfile /var/lib/ntp/drift

restrict 127.0.0.1

restrict -6 ::1

restrict default nomodify notrap

server 172.16.254.222 prefer

includefile /etc/ntp/crypto/pw

keys /etc/ntp/keys

配置文件完成，保存退出，启动服务，执行如下命令： service ntpd start

检查是否成功，用ntpstat命令查看同步状态，出现以下状态代表启动成功：

synchronised to NTP server () at stratum 2

time correct to within 74 ms

polling server every 128 s

配置ntp客户端（所有datanode节点）

vi /etc/ntp.conf

driftfile /var/lib/ntp/drift

restrict 127.0.0.1

restrict -6 ::1

restrict default kod nomodify notrap nopeer noquery

restrict -6 default kod nomodify notrap nopeer noquery

#这里是主节点的主机名或者ip

server hadoop1

includefile /etc/ntp/crypto/pw

keys /etc/ntp/keys

ok保存退出，请求服务器前，请先使用ntpdate手动同步一下时间： ntpdate -u hadoop1 (主节点ntp服务器)

这里可能出现同步失败的情况，请不要着急，一般是本地的ntp服务器还没有正常启动，一般需要等待5-10分钟才可以正常同步。启动服务： service ntpd start

3、设置ulimit和nproc

HBase是数据库，会在同一时间使用很多的文件句柄。大多数linux系统使用的默认值1024是不能满足，可以先查看当前用户 ulimit：

ulimit -n

设置ulimit:

vi /etc/security/limits.conf

* soft nofile 32768

* hard nofile 32768

* soft nproc 100000

* hard nproc 100000

vi /etc/pam.d/login

session required /lib/security/pam_limits.so

**********

另外确保/etc/pam.d/system-auth文件有下面内容

session required /lib/security/$ISA/pam_limits.so

这一行确保系统会执行这个限制。

***********

重新启动登陆就ok了

4、修改Hadoop HDFS Datanode同时处理文件的上dfs.datanode.max.xcievers

一个 Hadoop HDFS Datanode 有一个同时处理文件的上限，配置hdfs-site.xml里面的xceivers参数，至少要有4096:

<property>

<name>dfs.datanode.max.xcievers</name>

<value>4096</value>

</property>

对于HDFS修改配置要记得重启。

5、修改HBase中的conf目录下的配置文件

vi conf/hbase-env.sh

export JAVA_HOME=/usr/local/jdk

export HBASE_MANAGES_ZK=true

一个分布式运行的Hbase依赖一个zookeeper集群。所有的节点和客户端都必须能够访问zookeeper。默认的情况下Hbase会管理 一个zookeep集群。这个集群会随着Hbase的启动而启动。当然，你也可以自己管理一个zookeeper集群，但需要配置Hbase。你需要修改conf/hbase-env.sh里面的HBASE_MANAGES_ZK 来切换。这个值默认是true的，作用是让Hbase启动的时候同时也启动zookeeper.

vi conf/hbase-site.xml

<configuration>

<property>

<name>hbase.rootdir</name>

<value>hdfs://hadoop1:9000/hbase</value>

</property>

<property>

<name>hbase.cluster.distributed</name>

<value>true</value>

</property>

<property>

<name>hbase.zookeeper.property.clientPort</name>

<value>2181</value>

</property>

<property>

<name>hbase.zookeeper.quorum</name>

<value>hadoop1,hadoop2,hadoop3</value>

</property>

<property>

<name>hbase.zookeeper.property.dataDir</name>

<value>/opt/hadoop/zookeeper</value>

</property>

</configuration>

hbase.rootdir：这个目录是region server的共享目录，用来持久化Hbase。URL需要是'完全正确'的，还要包含文件系统的scheme。例如，要表示hdfs中的'/hbase'目录，namenode 运行在node1的49002端口。则需要设置为hdfs://node1:49002/hbase。默认情况下Hbase是写到/tmp的。不改这个配 置，数据会在重启的时候丢失。默认:
file:///tmp/hbase-${user.name}/hbase

hbase.cluster.distributed：Hbase的运行模式。false是单机模式，true是分布式模式。若为false,Hbase和Zookeeper会运行在同一个JVM里面。默认: false

在hbase-site.xml配置zookeeper：

当Hbase管理zookeeper的时候，你可以通过修改zoo.cfg来配置zookeeper，

一个更加简单的方法是在 conf/hbase-site.xml里面修改zookeeper的配置。Zookeeer的配置是作为property写在 hbase-site.xml里面的。

对于zookeepr的配置，你至少要在 hbase-site.xml中列出zookeepr的ensemble servers，具体的字段是 hbase.zookeeper.quorum.该这个字段的默认值是 localhost，这个值对于分布式应用显然是不可以的. (远程连接无法使用)。

hbase.zookeeper.property.clientPort：ZooKeeper的zoo.conf中的配置。 客户端连接的端口。

hbase.zookeeper.quorum：Zookeeper 集群的地址列表，用逗号分割。

例如："host1.mydomain.com,host2.mydomain.com,host3.mydomain.com".默认是 localhost,是给伪分布式用的。要修改才能在完全分布式的情况下使用。如果在hbase-env.sh设置了HBASE_MANAGES_ZK， 这些ZooKeeper节点就会和Hbase一起启动。默认: localhost

运行一个zookeeper也是可以的，但是在生产环境中，你最好部署3，5，7个节点。部署的越多，可靠性就 越高，当然只能部署奇数个，偶数个是不可以的。你需要给每个zookeeper 1G左右的内存，如果可能的话，最好有独立的磁盘。 (独立磁盘可以确保zookeeper是高性能的。).如果你的集群负载很重，不要把Zookeeper和RegionServer运行在同一台机器上 面。就像DataNodes 和 TaskTrackers一样

vi conf/regionservers

hadoop2

hadoop3

完全分布式模式的还需要修改conf/regionservers. 在这里列出了你希望运行的全部 HRegionServer，一行写一个host (就像Hadoop里面的 slaves 一样). 列在这里的server会随着集群的启动而启动，集群的停止而停止.

5、启动HBase

首先保证Hadoop已经启动，之后在/usr/local/hbase/bin目录下执行如下命令：

start-hbase.sh

6、查看HBase是否已经正常启动
http://172.16.254.222:60010/master-status