关于SolrCloud的索引分片和查询的可增强点
2012-12-29 13:42
302 查看
Solr4.0包含了分布式的sorl解决方案solrCloud,可以做sharding切分,每个sharding中节点支持选举算法(leader,replica),在sharding里面支持query的负载均衡。
在集群启动时,就需要声明当shard、collection等信息,启动过程中把集群的状态信息维护在zookeeper节点里。
集群中的任何一台server都可以响应客户端的请求,包括索引操作和查询操作。
对于索引操作,solrCloud提供了简单的分片算法,即根据当前的索引记录的ID值做hash操作,后根据zookeeper中维护的集群的相关状态(Collection,RangeInfo,Range<min,max>)去查找hash值在哪个Range中,找到对应的shard;在该shard中 leader 中建立索引,Leader节点更新结束完成,最后将版本号和文档转发给同属于一个Shard的replicas节点。不过在建立索引时,shard的算法没有考虑到负载均衡,有可能往一个shard中一直插入,所以需要自己考虑进行shard的切分负载均衡。
关于shard切分的算法,这里提出个人的一点想法,简单一点的话可以独立维护Sharding切分管理模块,统计每个sharding的索引数量,根据统计的数量,进行索引分发;并针对每个shard维护BooleamFilter来快速的定位索引ID是否在该shard节点,以供查询用,当然如果整个索引key的量可以放在内存中的话,可以建立hash表存储。以上这种索引管理方式对动态的扩展shard也比较方便。
对于查询操作,如果不指定shard,会到该集群中所有的shard中查找,然后在被查的server中合并,每个shard中会自动的做负载均衡。
这里有值得改进的地方,如果查询参数中带有索引的唯一ID,就可以进行id 的hash算法,找到具体的shard,节省了其他shard的调用开销。
关于集群的动态扩展方面,考虑的还不太全面
集群节点动态的增加没有考虑,比如动态增加shard,或者shard中动态增加一个节点,据我了解,还没有很好的支持。
在集群启动时,就需要声明当shard、collection等信息,启动过程中把集群的状态信息维护在zookeeper节点里。
集群中的任何一台server都可以响应客户端的请求,包括索引操作和查询操作。
对于索引操作,solrCloud提供了简单的分片算法,即根据当前的索引记录的ID值做hash操作,后根据zookeeper中维护的集群的相关状态(Collection,RangeInfo,Range<min,max>)去查找hash值在哪个Range中,找到对应的shard;在该shard中 leader 中建立索引,Leader节点更新结束完成,最后将版本号和文档转发给同属于一个Shard的replicas节点。不过在建立索引时,shard的算法没有考虑到负载均衡,有可能往一个shard中一直插入,所以需要自己考虑进行shard的切分负载均衡。
关于shard切分的算法,这里提出个人的一点想法,简单一点的话可以独立维护Sharding切分管理模块,统计每个sharding的索引数量,根据统计的数量,进行索引分发;并针对每个shard维护BooleamFilter来快速的定位索引ID是否在该shard节点,以供查询用,当然如果整个索引key的量可以放在内存中的话,可以建立hash表存储。以上这种索引管理方式对动态的扩展shard也比较方便。
对于查询操作,如果不指定shard,会到该集群中所有的shard中查找,然后在被查的server中合并,每个shard中会自动的做负载均衡。
这里有值得改进的地方,如果查询参数中带有索引的唯一ID,就可以进行id 的hash算法,找到具体的shard,节省了其他shard的调用开销。
关于集群的动态扩展方面,考虑的还不太全面
集群节点动态的增加没有考虑,比如动态增加shard,或者shard中动态增加一个节点,据我了解,还没有很好的支持。
相关文章推荐
- 关于已分区表和索引的查询处理增强功能
- 关于已分区表和索引的查询处理增强功能 (联机手册)
- 关于基于elasticsearch的全文检索 建立索引 查询
- 【Solr初探】Solr安装,启动,查询,索引
- 关于mysql order by 的select查询的索引创建和优化
- solr入门之lucene的索引操作之增加,删除,修改,查询及查询解析代码模板
- solr入门之创建solrcloud的collection索引集合
- SolrCloud之分布式索引及与Zookeeper的集成--转载
- Solr5.3.1 SolrJ查询索引结果
- Solr4.8.0源码分析(17)之SolrCloud索引深入(4)
- solr分片由于索引报错:Index Locked for write for core
- SolrCloud6.1.0之SQL查询测试
- SolrCloud索引富文本数据
- 3.solr学习速成之索引添加 查询 删除
- solrcloud有路由的mapreduce索引程序
- Solr高效率索引查询简介
- solr测试项目(下)--索引数据与查询
- java操作solr实现索引,查询,删除,拼写检查等功能
- solrcloud ,solr在集群中建立索引
- solrCloud 索引更新逻辑学习笔记