hbase入库效率提升研究(二)
2011-06-30 17:32
337 查看
接着前一篇文章所说,在hbase入库效率上有较大作用的几个因素
一、writebuffersize大小的设置,太大和太小都会使速度下降。原因是太大每次提交数量大,提交频度下降;太小每次提交数量小,提交频度高。按照目前的测试结果来看64MB是一个理想值
二、硬盘配置,在底层的hadoop上不要对硬盘做raid,能够充分利用每块磁盘的使用效率
三、regionserver的flush大小,region最大size。这里flushsize尽量配大,4G,region最大size可以配很大,使得region尽量不去分裂
四、关闭wal,在测试的时候居然发现速度下降,具体原因还不清楚。
一、writebuffersize大小的设置,太大和太小都会使速度下降。原因是太大每次提交数量大,提交频度下降;太小每次提交数量小,提交频度高。按照目前的测试结果来看64MB是一个理想值
二、硬盘配置,在底层的hadoop上不要对硬盘做raid,能够充分利用每块磁盘的使用效率
三、regionserver的flush大小,region最大size。这里flushsize尽量配大,4G,region最大size可以配很大,使得region尽量不去分裂
四、关闭wal,在测试的时候居然发现速度下降,具体原因还不清楚。
相关文章推荐
- hbase入库效率提升研究(一)
- hbase入库效率提升研究
- 待研究的几款window下面使用提升开发效率工具
- JOIN与EXISTS(子查询)的效率研究
- zend studio 提升开发效率的快捷键及可视化订制相关设置
- 16款有助于提升工作效率的工具
- [转载] 50点提高PHP编程效率 提升性能
- 让你提升命令行效率的 Bash 快捷键 [完整版]
- 黑马程序员——eclipse开发工具中常用快捷键--提升开发效率
- jQuery效率提升建议
- eclipse开发效率提升
- 使用webflux提升数据导出效率
- JavaScript执行效率与性能提升方案
- 【原】让代码轻盈地飞舞——IDEA13最实用的功能,全面提升开发效率(桌面java项目开发实战)持续更新中
- 分页存储过程(五)在MS SQL Server中打造更加准确,且有一点效率提升的的分页结果
- Hbase源码研究(四)------put(2)
- 如何提升工作的效率
- 善用代码片段提升开发效率
- sqlite提升效率
- 实例测试Mysql使用索引带来的效率提升