360HBase二级索引方案学习总结
2016-09-06 19:40
253 查看
在今年的北京QCon大会上,360公司的系统部技术经理赵健博在演讲中公布了360公司的HBase二级索引方案,这一方案的提出将比华为HBase二级索引更好的解决了Hbase的多维实时查询问题。它的核心思想是保证了索引和数据在同一region上,减少了IO通信,提升了HBase的读性能,并且无非修改HBase源码,实现更加简单。
360HBase二级索引公布的演讲视频:http://www.infoq.com/cn/presentations/qihoo360-hbase-two-stage-index-design-and-practice。
经过自己对其一段时间的学习和研究,列出一些总结如下:
1、设计思想
索引的思想依然是倒排索引的思想,即将需要查询的列作为索引数据的Rokwey,查询列所在记录的Rowkey作为索引数据的value。
2、索引设计
该方案是将索引与数据放在了同一个Region的不同family里。索引的Rowkey首字段是Region的startKey,它保证了索引和数据在同一个Region里,接下来是索引的类型INDEX,然后是建索引的列,最后是该列所在的记录的RowKey,索引的value是用来解析索引RowKey的反序列化信息。
3、写路径
几乎没变化。写数据时,先看索引说明里,看哪些列需要建索引,然后给这些列建立索引,将索引和数据都放在同一个put对象中。
4、读路径
先需要创建一个scanner,这里扩展了scanner对象,下面的一个框图代表一个Region。查询时先通过查询条件建立一棵检索树,然后通过检索树去找RowKey,最后通过RowKey去原表seek数据。
5、分裂
针对索引,产生一次分裂后,第一个daughter没有任何变化信息,第二个daughter的索引rowkey需要变更一下。
6、与华为Hbase二级索引方案的比较
7、性能
7.1
单并发写入性能
写代价的损失很小。
7.2
检索性能数据
360HBase二级索引公布的演讲视频:http://www.infoq.com/cn/presentations/qihoo360-hbase-two-stage-index-design-and-practice。
经过自己对其一段时间的学习和研究,列出一些总结如下:
1、设计思想
索引的思想依然是倒排索引的思想,即将需要查询的列作为索引数据的Rokwey,查询列所在记录的Rowkey作为索引数据的value。
2、索引设计
该方案是将索引与数据放在了同一个Region的不同family里。索引的Rowkey首字段是Region的startKey,它保证了索引和数据在同一个Region里,接下来是索引的类型INDEX,然后是建索引的列,最后是该列所在的记录的RowKey,索引的value是用来解析索引RowKey的反序列化信息。
3、写路径
几乎没变化。写数据时,先看索引说明里,看哪些列需要建索引,然后给这些列建立索引,将索引和数据都放在同一个put对象中。
4、读路径
先需要创建一个scanner,这里扩展了scanner对象,下面的一个框图代表一个Region。查询时先通过查询条件建立一棵检索树,然后通过检索树去找RowKey,最后通过RowKey去原表seek数据。
5、分裂
针对索引,产生一次分裂后,第一个daughter没有任何变化信息,第二个daughter的索引rowkey需要变更一下。
6、与华为Hbase二级索引方案的比较
7、性能
7.1
单并发写入性能
写代价的损失很小。
7.2
检索性能数据
相关文章推荐
- 360HBase二级索引方案学习总结
- HBase二级索引方案总结
- 360HBase二级索引方案学习总结
- 360 hbase二级索引总结
- HBase学习之二级索引
- HBase建立二级索引的一些解决方案(Solr+hbase方案等)
- Hbase二级索引方案Solr key value index
- 华为hbase二级索引(secondary index)细节分析 2013-06-03 | 相关总结
- CDH版本Hbase二级索引方案Solr key value index
- Hbase二级索引,索引海量数据实现方案
- mysql索引之二级索引学习总结
- 构建HBase二级索引和工具----学习笔记
- Hbase 学习(九) 华为二级索引(原理)
- Hbase 学习(九) 华为二级索引(原理)
- Lucene学习总结之四:Lucene索引过程分析(3)
- 索引视图的学习总结
- MYSQL数据库二级查询学习总结
- Lucene学习总结之三:Lucene的索引文件格式(2)
- Lucene学习总结之三:Lucene的索引文件格式(1)
- Lucene学习总结之四:Lucene索引过程分析(3)