spring-data-hadoop与HBase结合示例

##测试数据准备

关于测试数据的准备可以参考之前写的一篇文章 HBase单机模式和伪分布式模式安装和配置 中 HBase简单操作 这节。



##示例程序

###pom.xml

要想使用 Spring for Apache Hadoop 与 HBase 进行交互，pom.xml 文件需要配置如下：

<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<hbase.version>1.2.2</hbase.version>
<spring-data-hadoop.version>2.4.0.RELEASE</spring-data-hadoop.version>
</properties>

<dependencies>
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-client</artifactId>
<version>${hbase.version}</version>
</dependency>

<dependency>
<groupId>org.springframework.data</groupId>
<artifactId>spring-data-hadoop</artifactId>
<version>${spring-data-hadoop.version}</version>
</dependency>
</dependencies>

###Spring配置文件

创建一个 Spring 配置文件 spring-hbase.xml，在该文件中配置与 HBase 连接相关的信息。spring-hbase.xml 有两种配置方式：一种是直接指定 HDFS 地址以及 ZooKeeper 的地址和端口号，另外一种就是引入 HBase 配置文件 hbase-site.xml。下面就这两种方式分开进行描述。

####直接指定

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:hdp="http://www.springframework.org/schema/hadoop"
xmlns:p="http://www.springframework.org/schema/p"
xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-4.2.xsd http://www.springframework.org/schema/hadoop http://www.springframework.org/schema/hadoop/spring-hadoop-2.3.xsd"> 
<!-- HDFS配置 -->
<hdp:configuration id="hadoopConfiguration">
fs.defaultFS="hdfs://localhost:9000"
</hdp:configuration>

<!-- HBase连接配置 -->
<hdp:hbase-configuration id="hbaseConfiguration" zk-quorum="127.0.0.1" zk-port="2181"/>

<!-- HbaseTemplate Bean配置-->
<bean id="hbaseTemplate" class="org.springframework.data.hadoop.hbase.HbaseTemplate"
p:configuration-ref="hbaseConfiguration"/>
</beans>

####引入hbase-site.xml

hbase-site.xml配置文件内容如下：

<configuration>
<!-- 使用集群模式 -->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- HDFS 地址 -->
<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>
</property>
<!-- ZooKeeper 地址 -->
<property>
<name>hbase.zookeeper.quorum</name>
<value>localhost</value>
</property>
<!-- ZooKeeper 端口号 -->
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
<!-- ZooKeeper 数据文件路径 -->
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/opt/zookeeper/data</value>
</property>
</configuration>

spring-hbase.xml配置如下：

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:hdp="http://www.springframework.org/schema/hadoop"
xmlns:p="http://www.springframework.org/schema/p"
xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-4.2.xsd http://www.springframework.org/schema/hadoop http://www.springframework.org/schema/hadoop/spring-hadoop-2.3.xsd"> 
<!-- 直接引入类路径上的hbase-site.xml，也可以引入文件系统路径下hbase-site.xml，如:file:/opt/hbase/conf/hbase-site.xml -->
<hdp:configuration id="hadoopConfiguration" resources="classpath:hbase-site.xml"/>

<hdp:hbase-configuration id="hbaseConfiguration" configuration-ref="hadoopConfiguration"/>

<!-- HbaseTemplate Bean配置-->
<bean id="hbaseTemplate" class="org.springframework.data.hadoop.hbase.HbaseTemplate"
p:configuration-ref="hbaseConfiguration"/>
</beans>

###测试代码

import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.util.Bytes;
import org.springframework.context.ApplicationContext;
import org.springframework.context.support.ClassPathXmlApplicationContext;
import org.springframework.data.hadoop.hbase.HbaseTemplate;
import org.springframework.data.hadoop.hbase.RowMapper;

public class HBaseTest {

private static final String TABLE_NAME = "test";

private static final String ROW_KEY = "row1";

private static final String COLUMN_FAMILY = "cf";

private static final String QUALIFIER = "a";

public static void main(String[] args) {
// 加载Spring配置文件
ApplicationContext applicationContext = new ClassPathXmlApplicationContext("spring-hbase.xml");
// 获取HbaseTemplate
HbaseTemplate hbaseTemplate = (HbaseTemplate) applicationContext.getBean("hbaseTemplate");
// 通过表名和rowKey获取最近一行数据
String result = hbaseTemplate.get(TABLE_NAME, ROW_KEY, new RowMapper<String>() {
public String mapRow(Result result, int rowNum) throws Exception {
return Bytes.toString(result.getValue(COLUMN_FAMILY.getBytes(), QUALIFIER.getBytes()));
}
});
System.out.println(result);
}
}

输出结果是：value1。

##总结

从上面的示例可以看到 Spring for Apache Hadoop 与 HBase 结合比较简单，API 也易于使用， 可自行动手实践。