一种HBase的表region切分和rowkey设计方案

一种HBase的表region切分和rowkey设计方案

 

(2014-05-14 14:21:56)


转载▼

分类： MYSQL/ORACLE/DB2/sybase/info

一种HBase的表region切分和rowkey设计方案

场景

HBase的region随着大小的不断变大会触发一个阈值，默认为256M，一旦触发那么他就会自动的分裂开来，随着region变多hbase管理起来也越发困难，性能也会明显下降。当然更多的region使得高并发成为可能。一种较好的实践方案就是一方面预切分HBase的region，确定region的个数，保证并发性能，另一方面设置较高的region size分裂阈值，保证region数量不变

方案

预切分方法：

./bin/hbase org.apache.hadoop.hbase.util.RegionSplitter -c 500 test -f t1:t2:t3

上面的命令行工具给以为你切分一个500region的test表，分别包含了三个列族：t1,t2,t3。

然后在hbase-site.xml设置hbase.hregion.max.filesize为104857600（=1024*1024*100=100G），设置为100G，这样很长一段时间内不会出现region分裂。建议一个节点分到1000region，可以满足并发，而且不至于让master压力过大。

rowkey设计方案：

需要指出的是这种预切分方法用了一种默认算法md5stringsplit来分配region的startkey，endkey。这种得到的是一个8位的右移一位的md5的字符串。实际上就是md5前八位然后右移。这样在设计rowkey的时候就要千万注意了！因为这样分配出来的region是00000000~7fffffff。所以为了让rowkey能够均匀落入到这个范围需要md5(id)>>1 + id。提示一下：如果你使用的md5（id）+id的方法设计了rowkey，入库时如果数据量很大则会导致hot region。rs就会频繁的挂掉了，因为大部分数据都落入最后一个region了。

rowkey生成的具体的java代码如下：

private String makeRowKey(String id){ String md5_content = null; try { MessageDigest messageDigest = MessageDigest.getInstance("MD5"); messageDigest.reset(); messageDigest.update(id.getBytes()); byte[] bytes = messageDigest.digest(); md5_content = newString(Hex.encodeHex(bytes)); } catch (NoSuchAlgorithmException e1) { e1.printStackTrace(); }//turn right md5 String right_md5_id = Integer.toHexString(Integer.parseInt(md5_content.substring(0,7),16)>>1);while(right_md5_id.length()<7){ right_md5_id = "0" + right_md5_id; } return right_md5_id + "::" + id; }

这样做的好处就是在写入数据时可以使rowkey均匀的写入，当然读取的时候还需要拿着id变成md5再去读取，批量读取与时间戳前置方法相比肯定没有任何优势了。不过随机读取也会使rs的负载均衡。

上面的这种设计适合绝大多数场景。可以作为一个良好的实践。

关注分布式存储技术以及分布式计算方法