Hbase 调优

HBase调优
swap虚拟内存调小
GC执行的时间要小于zk和regionserver之间的最大超时时间
如果GC执行的时间大于zk和regionserver之间的最大超时时间,zk就会认为regionserver挂了,此时,master会将regionserver上的region分配到其他的server上。

客户端的优化(API)
（1）Auto Flush
默认是开启的,可以设置成HTable.setAutoFlushTo(false),批量提交
使用场景： 
table.setAutoFlushTo(false);
//这里可以put多条数据之后再进行一次批量提交
Put put = new Put();
List<Put> list
table.flushCommits();

（2）writeToWAL(false)
不写HLOG，能提高写入并发，但有风险

（3）Compression压缩
table.addFamily(new HColumnDescriptor(CF_DEFAULT).setCompressionType(Algorithm.SNAPPY));

（4）批量写和读
HTable.put(List<Put>) 
HTable.get(List<Get>) 

（5）多线程多并发写

（6）缓存查询结果
scan.setCacheBlocks(true);
scan.setCaching(500);

（7）关闭table和ResultScaner
使用完资源必须close()

服务器端的优化
（1）合理设置预分区以及Rowkey设计
rowkey和CF要尽量短，CF不要太多，不建议超过2个

（2）根据业务可以关闭自动split和compact
hbase.hregion.max.filesize

（3）设置最大版本数和设置存储生命期
setMaxVersions(1)
HColumnDescriptor.setTimeToLive(int timeToLive)

（4）缓存策略（setCaching）
HColumnDescriptor.setInMemory(true)将表放到RegionServer的缓存中，保证在读取的时候被cache命中

（5）hbase.regionserver.handler.count
默认值：10
说明：RegionServer的请求处理IO线程数。
根据并发可以设置成80-100-120

（6）memstore.upperLimit/lowerLimit
默认值：0.4/0.35

upperLimit:总memstore容量达到40% 就开始flush
lowerLimit:总memstore容量达到35% 就开始flush一些大的memstore

（7）hfile.block.cache.size
默认值：0.4
影响读

=========

HBase上Regionserver的内存分为两个部分，一部分作为Memstore，主要用来写；另外一部分作为BlockCache，主要用于读。

　　•写请求会先写入Memstore，Regionserver会给每个region提供一个Memstore，当Memstore满64MB以后，会启动 flush刷新到磁盘。当Memstore的总大小超过限制时（heapsize * hbase.regionserver.global.memstore.upperLimit * 0.9），会强行启动flush进程，从最大的Memstore开始flush直到低于限制。

　　•读请求先到Memstore中查数据，查不到就到BlockCache中查，再查不到就会到磁盘上读，并把读的结果放入BlockCache。由于BlockCache采用的是LRU策略，因此BlockCache达到上限(heapsize * hfile.block.cache.size * 0.85)后，会启动淘汰机制，淘汰掉最老的一批数据。

　　

　　一个Regionserver上有一个BlockCache和N个Memstore，它们的大小之和不能大于等于heapsize * 0.8，否则HBase不能正常启动。

　　

　　默认配置下，BlockCache为0.2，而Memstore为0.4。在注重读响应时间的应用场景下，可以将 BlockCache设置大些，Memstore设置小些，以加大缓存的命中率。

　　

　　HBase RegionServer包含三个级别的Block优先级队列：

　　•Single：如果一个Block第一次被访问，则放在这一优先级队列中；

　　•Multi：如果一个Block被多次访问，则从Single队列移到Multi队列中；

　　•InMemory：如果一个Block是inMemory的，则放到这个队列中。

　　

　　以上将Cache分级思想的好处在于：

　　•首先，通过inMemory类型Cache，可以有选择地将in-memory的column families放到RegionServer内存中，例如Meta元数据信息；

　　•通过区分Single和Multi类型Cache，可以防止由于Scan操作带来的Cache频繁颠簸，将最少使用的Block加入到淘汰算法中。

　　

　　默认配置下，对于整个BlockCache的内存，又按照以下百分比分配给Single、Multi、InMemory使用：0.25、0.50和0.25。

　　

　　注意，其中InMemory队列用于保存HBase Meta表元数据信息，因此如果将数据量很大的用户表设置为InMemory的话，可能会导致Meta表缓存失效，进而对整个集群的性能产生影响。