HBase修改压缩格式及Snappy压缩实测分享
2013-12-03 15:58
387 查看
HBase修改压缩格式及Snappy压缩实测分享
一、要点
有关Snappy的相关介绍可参看Hadoop压缩-SNAPPY算法,如果想安装Snappy,可以参看HadoopHBase 配置 安装 Snappy 终极教程。
1. HBase修改Table压缩格式步骤
2. 实测结果分享
二、HBase修改Table压缩格式步骤
修改HBase压缩算法很简单,只需要如下几步:1. hbase shell命令下,disable相关表:
2. 修改表的压缩格式
3. 重新enable表
describe一下该表,可以看到HBase 表压缩格式修改完毕。
二、 实测结果分享
1. 线上有一个稍微大些的表,压测前的大小是2. 等最终major_compact完毕后,数据大小为
[xxxx]hadoop fs -du /hbase/tablename 14910587650937 hdfs://xxxx:9000/hbase/tablename
即剩余13.56110046884805T,压缩掉20.29503041286444T
3. 实测情况下,remaining为:
13.56110046884805/33.85613088171249 = 40.055%
跟网上流传的最好效果22.2%还是有一定差距的。但是Google Snappy官网上也说,为达到更高的压缩速度,Snappy允许损失一些压缩率。
有一点需要说明,因为是线上服务,所以在修改压缩格式后,至comact结束,中间有入库操作,大概有一周到两周的数据入库。也就是说,实际值要比40.055%小一些,但是应该影响不太大。
相关文章推荐
- UIWebView
- ubuntu12.04安装android源码编译环境
- 用NDKr9编译最新ffmpeg2.0.1(ffmpeg2.0.2)到android平台
- android中Invalidate和postInvalidate的区别
- Android图像处理之Bitmap类
- IOS基础:深入理解Objective-c中@class的含义
- Android中的Toast重复显示的问题
- nagios 图形化界面之二 (pnp4nagios)
- Andorid PhoneGap HelloWorld plugin
- BIOS、MBR、GRUB、kernel
- 产品交付规范文档
- android SQLite使用
- 免费iOS第三方推送工具Urban Airship使用教程
- 张小龙《微信背后的产品观》
- Android实现带Tab页引导的ViewPager
- Objective-C的日期类NSDate
- Extjs store load json data,store fields mapping can't show data
- android中通过id获得drawable类型的数据
- Android 动画之ScaleAnimation应用详解
- Android Services重点记录