怎样提高hbase的入库性能
2017-05-04 17:55
211 查看
hbase写数据首先先写入memstore。当memstore满64MB以后,会flush到disk上而成为storefile。当storefile数量超过3时,会启动compaction过程将它们合并为一个storefile。这个过程中会删除一些timestamp过期的数据。比方update的数据。而当合并后的storefile大小大于hfile默认最大值时。会触发split动作,将它切分成两个region。
1、改动hbase的BufferSize,并禁用hbase的自己主动提交功能。
table.setWriteBufferSize(1024*1024*10);
table.setAutoFlush(false);
2、禁用hbase的预写日志功能(WAL)。
p.setWriteToWAL(false); //p为已近add数据后的Put对象
3、为flush加入线程池,为compact加入线程池。同一时候凝视掉split部分;
4、将HBaseClient加入到RegoinServer的连接池。
參考:
http://blog.csdn.net/kalaamong/article/details/7275242
1、改动hbase的BufferSize,并禁用hbase的自己主动提交功能。
table.setWriteBufferSize(1024*1024*10);
table.setAutoFlush(false);
2、禁用hbase的预写日志功能(WAL)。
p.setWriteToWAL(false); //p为已近add数据后的Put对象
3、为flush加入线程池,为compact加入线程池。同一时候凝视掉split部分;
4、将HBaseClient加入到RegoinServer的连接池。
參考:
http://blog.csdn.net/kalaamong/article/details/7275242
相关文章推荐
- 怎样提高hbase的入库性能
- 如何提高hbase的入库性能
- 怎样提高WebService性能(大数据量网络传输处理)
- HBase-5.提高HBase客户端的读写性能方法
- 怎样利用代码与习惯提高网站的并发访问性能以及自己的一些疑惑
- 怎样提高WebService的性能
- 在程序开发中怎样写SQL语句可以提高数据库的性能
- 怎样能写出性能优良的SQL语句 从sql语句提高数据库的性能
- 小型三维引擎设计实现-怎样通过减少对驱动程序的调用来提高性能
- HBase写入性能分析及改造—multi-thread flush and compaction(约能提高两到三倍吞吐量,带压缩测试)
- cxf怎样提高webservice性能,及访问速度调优
- 怎样快速估算热点函数的性能提高?
- +2流水线是怎样提高性能的,会遇到什么问题,解决方法是什么
- 在程序开发中怎样写SQL语句可以提高数据库的性能
- 怎样提高WebService的性能
- 怎样快速估算热点函数的性能提高?
- 怎样提高WebService性能大数据量网络传输处理
- 怎样提高WebService的性能
- 怎样在 Oracle RAC 环境下使用 Parallel 参数提高 Data Pump job 的性能
- 怎样写SQL语句可以提高数据库的性能