您的位置:首页 > 其它

hbase入库效率提升研究(二)

2011-06-30 17:32 337 查看
接着前一篇文章所说,在hbase入库效率上有较大作用的几个因素

一、writebuffersize大小的设置,太大和太小都会使速度下降。原因是太大每次提交数量大,提交频度下降;太小每次提交数量小,提交频度高。按照目前的测试结果来看64MB是一个理想值

二、硬盘配置,在底层的hadoop上不要对硬盘做raid,能够充分利用每块磁盘的使用效率

三、regionserver的flush大小,region最大size。这里flushsize尽量配大,4G,region最大size可以配很大,使得region尽量不去分裂

四、关闭wal,在测试的时候居然发现速度下降,具体原因还不清楚。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: