HBase常用功能和HBase+MapReduce使用总结
2015-11-10 19:23
295 查看
1.HBase如果加了列限定,如果该列不存在时返回的结果为empty.
2.HBase在scan时指定的StartRow里面不能加-
3.HBase在scan时过滤掉指定列不存在的记录
4.利用MapReduce导出hbase数据
5.利用mapReduce插入数据到HBase
?
这里加入了列限定,也就是只返回列族info下面的name字段。但是如果name字段根本不存在,返回的Result在调用result.isEmpty()时则返回为true,也就是说就算其他字段存在,也什么都没返回来,包括rowkey也没有返回来。当然,如果是限定多个列,只要一个列存在就可以正常返回。所以需要注意。
?
我的本意是查询rowkey以 3136947- 开头的行,但是因为我的里面有一个-(“杠”),所以什么都没返回,去掉-后正常。这说明这里是不能使用-,-也并不是转义字符,转义后也还是scan不出来的。不知道其他字符是不是也不行,没有测试。 所以需要注意。
?
注意:如果是判断某个列是否存在,必须在addColumn里面加上该列,也就是必须返回的字段里面必须包含该列,否则也不会返回,因为在处理的时候是调用addColumn然后才会调用过滤器。
这里的过滤器里面指定该列的字段值必须不等于0(当然,如果你的name里有等于0的当然不能使用0),并且设置setFilterIfMissing为true,也就是设置为如果该列不存在就过滤掉这条数据,默认为false。
?
在initTableMapperJob里面设置的map必须继承org.apache.hadoop.hbase.mapreduce.TableMapper,并且最后两个设置的参数是自己定义的map的输出时的key和value的类型。
?
这里map的输出必须是key为ImmutableBytesWritable,value为 Put
2.HBase在scan时指定的StartRow里面不能加-
3.HBase在scan时过滤掉指定列不存在的记录
4.利用MapReduce导出hbase数据
5.利用mapReduce插入数据到HBase
1.HBase如果加了列限定,如果该列不存在时返回的结果为empty.
看下面的代码:?
2.HBase在scan时指定的StartRow里面不能加-
看下面的代码:?
3.HBase在scan时过滤掉指定列不存在的记录
如果想返回某个字段必须存在的行,不存在该字段的记录过滤掉不返回,方法如下:?
这里的过滤器里面指定该列的字段值必须不等于0(当然,如果你的name里有等于0的当然不能使用0),并且设置setFilterIfMissing为true,也就是设置为如果该列不存在就过滤掉这条数据,默认为false。
4.利用MapReduce导出hbase数据
如果hbase作为数据的输出,job设置如下:?
5.利用mapReduce插入数据到HBase
如果hbase作为数据的输入。代码如下:?
相关文章推荐
- sicily 1875 Small tree
- MetaQ FAQ
- 朴素的均衡策略
- 黑马程序员-Java String类
- Perl 正则表达式
- Unity计划放弃支持部分图形特性
- Android AIDL使用详解 实现进程间的通信
- 20151110 oracle事务 redo undo
- codeforces 594D题解
- 用kettle处理重复值和空缺值
- iOS8 对于NSURLRequest 的bug
- 死循环 for (;;) 的运用
- JSR 303 - Bean Validation 介绍及最佳实践
- hbase权威指南阅读随手笔记二之过滤器
- Material Design 实现之 RecyclerView高级特性
- 如何方便快速在指定文件夹打开命令行
- Android开发 关于百度地图的定位
- vm10虚拟机安装Mac OS X10.10教程
- TestNG如何用excel来做数据驱动
- JDK和JRE的区别与联系