HBase-单机模式安装

HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。接下来记录一下HBase的安装和一些基本的使用：

安装JDK

安装JDK具体操作，请点击链接

SSH设置和密钥生成

SSH设置需要在集群上执行不同的操作，如启动，停止和分布式守护shell操作。进行身份验证不同的Hadoop用户，需要一种用于Hadoop的用户提供的公钥/私钥对，并用不同的用户共享。以下的命令被用于生成秘钥值对。复制公钥从

id_rsa.pub

为

authorized_keys

，并提供所有者、读写权限到

authorized_keys

当中：

ssh-keygen -t rsa
cat id_rsa.pub >> /root/.ssh/authorized_keys
chmod 0600 /root/.ssh/authorized_keys

验证ssh

ssh localhost

不出意外的话，将会显示如下信息：

Welcome to Ubuntu 16.04 LTS (GNU/Linux 4.4.0-21-generic x86_64)

* Documentation:  https://help.ubuntu.com/ 
205 packages can be updated.
110 updates are security updates.

*** System restart required ***

安装配置Hadoop

1、从官网下在相应版本的安装包，这里我下载的是2.9.0版本

2、解压

tar -zxvf hadoop-2.9.0.tar.gz

3、移动至

/usr/local/hadoop

目录当中

mv hadoop-2.9.0 /usr/local/hadoop

4、配置环境变量，使用vi编辑器打开

/etc/profile

文件，添加如下代码：

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"

应用刚刚配置的环境变量：

source /etc/profile

5、进入

$HADOOP_HOME/etc/hadoop

目录当中，使用vi编辑器，打开

hadoop-env.sh

文件，修改Java环境变量

JAVA_HOME

的值，并且修改进程文件的存放目录：

export JAVA_HOME=/usr/local/jdk1.8.0_151

6、修改

core-site.xml

。

core-site.xml

包含用于Hadoop的实例，分配给文件系统，存储器限制用于存储数据和读/写缓冲器大小的信息。使用vi编辑器，打开

core-site.xml

，并且在

<configuration>

和

</configuration>

标签之间添加如下属性:

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

7、修改

hdfs-site.xml

。

hdfs-site.xml

包含复制数据的值，NameNode的路径，本地文件系统，要存储Hadoop基础架构的Datanode路径的信息。使用vi编辑器，打开

hdfs-site.xml

，并且在

<configuration>

和

</configuration>

标签之间添加如下属性:

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>file:///home/pythoner/hadoop/hdfs/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>file:///home/pythoner/hadoop/hdfs/datanode</value>
</property>
</configuration>

上面的属性值是用户自定义的，用户可以根据自己的Hadoop的基础架构进行更改。

8、修改

yarn-site.xml

。此文件用于配置

yarn

在Hadoop中。使用vi编辑器，打开

yarn-site.xml

，并且在

<configuration>

和

</configuration>

标签之间添加如下属性:

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

9、修改

mapred-site.xml

。此文件用于指定MapReduce框架以使用。默认情况下，Hadoop包含mapred-site.xml模板，即

mapred-site.xml.template

文件。首先需要从模板中复制到

mapred-site.xml

中：

cp mapred-site.xml.template mapred-site.xml

使用vi编辑器，打开

mapred-site.xml

，并且在

<configuration>

和

</configuration>

标签之间添加如下属性:

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

验证Hadoop

1、格式化文件系统，命令如下：

hdfs namenode -format

预期结果如下：

...
17/12/04 17:01:49 INFO common.Storage: Storage directory /home/pythoner/hadoop/hdfs/namenode has been successfully formatted.
17/12/04 17:01:49 INFO namenode.FSImageFormatProtobuf: Saving image file /home/pythoner/hadoop/hdfs/namenode/current/fsimage.ckpt_0000000000000000000 using no compression
17/12/04 17:01:49 INFO namenode.FSImageFormatProtobuf: Image file /home/pythoner/hadoop/hdfs/namenode/current/fsimage.ckpt_0000000000000000000 of size 321 bytes saved in 0 seconds.
17/12/04 17:01:49 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
17/12/04 17:01:49 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at ubuntu/127.0.1.1
************************************************************/

2、启动

namenode

和

datanode

守护进程，命令如下:

start-dfs.sh

预期结果如下：

Starting namenodes on [localhost]
localhost: starting namenode, logging to /usr/local/hadoop/logs/hadoop-root-namenode-ubuntu.out
localhost: starting datanode, logging to /usr/local/hadoop/logs/hadoop-root-datanode-ubuntu.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop/logs/hadoop-root-secondarynamenode-ubuntu.out

3、启动

yarn

守护进程，命令如下：

start-yarn.sh

预期结果如下：

starting yarn daemons
starting resourcemanager, logging to /usr/local/hadoop/logs/yarn-root-resourcemanager-ubuntu.out
localhost: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-root-nodemanager-ubuntu.out

4、在浏览器上输入

http://192.168.0.156:50070/

访问Hadoop服务。注：

192.168.0.156

为博主Linux机器地址



5、在浏览器上输入

http://192.168.0.156:8088/

验证集群中的所有应用程序。注：

192.168.0.156

为博主Linux机器地址

在单机模式下安装HBase

1、从官网下在相应版本的安装包，这里我下载的是1.2.6版本

2、解压

tar -zxvf hbase-1.2.6-bin.tar.gz

3、移动至

/usr/local/HBase

目录当中

mv hadoop-2.9.0 /usr/local/HBase

4、进入

/usr/local/HBase/conf

目录，使用vi编辑器，打开

hbase-env.sh

文件，修改Java环境变量

JAVA_HOME

的值和

pid

存放位置：

export JAVA_HOME=/usr/local/jdk1.8.0_151

5、进入

/usr/local/HBase/conf

目录，使用vi编辑器，打开

hbase-site.xml

文件。这是HBase的主要配置文件，你只需要在HBase和Zookeeper写入数据的本地文件系统上指定目录即可。将

<property>

标签粘贴到标签下

<configuration>

下：

<configuration>
<property>
<name>hbase.rootdir</name>
<value>file:///home/pythoner/hbase/rootdir</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/pythoner/hbase/zookeeper</value>
</property>
</configuration>

6、进入

/usr/local/HBase/bin

目录，输入以下命令启动HBase:

./start-hbase.sh

预期结果如下：

starting master, logging to /usr/local/HBase/bin/../logs/hbase-root-master-ubuntu.out

7、启动成功后，可以在浏览器上输入

http://192.168.0.156:16010/

查看HBase Web UI。注：

192.168.0.156

为博主Linux机器地址

8、停止HBase

./stop-hbase.sh

停止过程可能需要花费好几分钟，请耐心等待。至此，Hbase单机模式安装也就完成了。