HBase参数配置及说明
2016-01-12 20:57
513 查看
转自:/article/5192768.html
目的是看下生产环境配置与默认配置情况。
线上配置
默认值:
写到系统的/tmp目录
线上配置
默认值:
线上配置为true
默认值:false
线上配置
默认值:localhost
线上配置:/home/hadoop/zookeeperData
默认值:${hbase.tmp.dir}/zookeeper
线上配置:1200000(20min)
默认值:180000(3min)
线上配置:6000(6s)
默认值:6000
线上配置:kerberos
默认值:空
线上配置: true
默认值: false
线上配置:hbase/_HOST@HADOOP.xxx.xxx.COM
默认:无
线上配置:/home/hadoop/etc/conf/hbase.keytab
默认值:无
线上配置:hbase/_HOST@HADOOP.xxx.xxx.COM
默认:无
线上配置:/home/hadoop/etc/conf/hbase.keytab
默认值:无
线上配置:50
默认配置:10
线上配置:0.45
默认配置:0.4
线上配置:0.4
默认配置:0.35
线上配置:8388608(8M)
默认配置:2097152(2M)
线上配置:107374182400(100G)
默认配置:21474836480(20G)
线上配置:8(内存够大可以适当调大一些,出现这种情况需要客户端做调整)
默认配置:2
线上配置:104857600(100M)
默认值: 134217728(128M)
线上配置:true
默认配置: true
线上配置:128
默认配置:32
线上配置:536870912(512M)
默认配置:hdfs配置的block大小
线上配置:10
默认配置:3
线上配置:30
默认配置:10
线上配置:100(生产环境可以设置得很大)
默认配置: 7
线上配置:90000(90s)
默认配置:90000(90s)
线上配置:0(关掉major compact)
默认配置:86400000(1d)
线上配置:5
默认配置:1
线上配置:5
默认配置:1
线上配置:10737418240(10G)
默认配置:2 * this.minFilesToCompact * this.region.memstoreFlushSize
线上配置:21474836480(20G)
默认配置:Long.MAX_VALUE
线上配置:300000(5min)
默认配置:60000(10s)
线上配置: org.apache.hadoop.hbase.regionserver.ConstantSizeRegionSplitPolicy(采取老的策略,自己控制split)
默认配置: org.apache.hadoop.hbase.regionserver.IncreasingToUpperBoundRegionSplitPolicy(在region没有达到maxFileSize的前提下,如果fileSize达到regionCount * regionCount * flushSize则进行split操作)
线上配置:150
默认配置:2147483647
目的是看下生产环境配置与默认配置情况。
hbase.hregion.max.filesize:100G
hbase.regionserver.hlog.blocksize:512M
hbase.regionserver.maxlogs:32
.............版本:0.94-cdh4.2.1
hbase-site.xml配置
hbase.tmp.dir
本地文件系统tmp目录,一般配置成local模式的设置一下,但是最好还是需要设置一下,因为很多文件都会默认设置成它下面的线上配置
< property > < name >hbase.tmp.dir</ name > < value >/mnt/dfs/11/hbase/hbase-tmp</ value > </ property > |
${java.io.tmpdir}/hbase-${user.name} |
hbase.rootdir
HBase集群中所有RegionServer共享目录,用来持久化HBase的数据,一般设置的是hdfs的文件目录,如hdfs://namenode.example.org:9000/hbase线上配置
< property > < name >hbase.rootdir</ name > < value >hdfs://mycluster/hbase</ value > </ property > |
${hbase.tmp.dir}/hbase |
hbase.cluster.distributed
集群的模式,分布式还是单机模式,如果设置成false的话,HBase进程和Zookeeper进程在同一个JVM进程。线上配置为true
默认值:false
hbase.zookeeper.quorum
zookeeper集群的URL配置,多个host中间用逗号(,)分割线上配置
< property > < name >hbase.zookeeper.quorum</ name >< value >inspurXXX.xxx.xxx.org,inspurXXX.xxx.xxx.org,inspurXXX.xxx.xxx.org,inspurXXX.xxx.xxx.org,inspurXXX.xxx.xxx.org</ value > </ property > |
hbase.zookeeper.property.dataDir
ZooKeeper的zoo.conf中的配置。 快照的存储位置线上配置:/home/hadoop/zookeeperData
默认值:${hbase.tmp.dir}/zookeeper
zookeeper.session.timeout
客户端与zk连接超时时间线上配置:1200000(20min)
默认值:180000(3min)
hbase.zookeeper.property.tickTime
Client端与zk发送心跳的时间间隔线上配置:6000(6s)
默认值:6000
hbase.security.authentication
HBase集群安全认证机制,目前的版本只支持kerberos安全认证。线上配置:kerberos
默认值:空
hbase.security.authorization
HBase是否开启安全授权机制线上配置: true
默认值: false
hbase.regionserver.kerberos.principal
regionserver的kerberos认证的主体名称(由三部分组成:服务或用户名称、实例名称以及域名)线上配置:hbase/_HOST@HADOOP.xxx.xxx.COM
默认:无
hbase.regionserver.keytab.file
regionserver keytab文件路径线上配置:/home/hadoop/etc/conf/hbase.keytab
默认值:无
hbase.master.kerberos.principal
master的kerberos认证的主体名称(由三部分组成:服务或用户名称、实例名称以及域名)线上配置:hbase/_HOST@HADOOP.xxx.xxx.COM
默认:无
hbase.master.keytab.file
master keytab文件路径线上配置:/home/hadoop/etc/conf/hbase.keytab
默认值:无
hbase.regionserver.handler.count
regionserver处理IO请求的线程数线上配置:50
默认配置:10
hbase.regionserver.global.memstore.upperLimit
RegionServer进程block进行flush触发条件:该节点上所有region的memstore之和达到upperLimit*heapsize线上配置:0.45
默认配置:0.4
hbase.regionserver.global.memstore.lowerLimit
RegionServer进程触发flush的一个条件:该节点上所有region的memstore之和达到lowerLimit*heapsize线上配置:0.4
默认配置:0.35
hbase.client.write.buffer
客户端写buffer,设置autoFlush为false时,当客户端写满buffer才flush线上配置:8388608(8M)
默认配置:2097152(2M)
hbase.hregion.max.filesize
单个ColumnFamily的region大小,若按照ConstantSizeRegionSplitPolicy策略,超过设置的该值则自动split线上配置:107374182400(100G)
默认配置:21474836480(20G)
hbase.hregion.memstore.block.multiplier
超过memstore大小的倍数达到该值则block所有写入请求,自我保护线上配置:8(内存够大可以适当调大一些,出现这种情况需要客户端做调整)
默认配置:2
hbase.hregion.memstore.flush.size
memstore大小,当达到该值则会flush到外存设备线上配置:104857600(100M)
默认值: 134217728(128M)
hbase.hregion.memstore.mslab.enabled
是否开启mslab方案,减少因内存碎片导致的Full GC,提高整体性能线上配置:true
默认配置: true
hbase.regionserver.maxlogs
regionserver的hlog数量线上配置:128
默认配置:32
hbase.regionserver.hlog.blocksize
hlog大小上限,达到该值则block,进行roll掉线上配置:536870912(512M)
默认配置:hdfs配置的block大小
hbase.hstore.compaction.min
进入minor compact队列的storefiles最小个数线上配置:10
默认配置:3
hbase.hstore.compaction.max
单次minor compact最多的文件个数线上配置:30
默认配置:10
hbase.hstore.blockingStoreFiles
当某一个region的storefile个数达到该值则block写入,等待compact线上配置:100(生产环境可以设置得很大)
默认配置: 7
hbase.hstore.blockingWaitTime
block的等待时间线上配置:90000(90s)
默认配置:90000(90s)
hbase.hregion.majorcompaction
触发major compact的周期线上配置:0(关掉major compact)
默认配置:86400000(1d)
hbase.regionserver.thread.compaction.large
large compact线程池的线程个数线上配置:5
默认配置:1
hbase.regionserver.thread.compaction.small
small compact线程池的线程个数线上配置:5
默认配置:1
hbase.regionserver.thread.compaction.throttle
compact(major和minor)请求进入large和small compact线程池的临界点线上配置:10737418240(10G)
默认配置:2 * this.minFilesToCompact * this.region.memstoreFlushSize
hbase.hstore.compaction.max.size
minor compact队列中storefile文件最大size线上配置:21474836480(20G)
默认配置:Long.MAX_VALUE
hbase.rpc.timeout
RPC请求timeout时间线上配置:300000(5min)
默认配置:60000(10s)
hbase.regionserver.region.split.policy
split操作默认的策略线上配置: org.apache.hadoop.hbase.regionserver.ConstantSizeRegionSplitPolicy(采取老的策略,自己控制split)
默认配置: org.apache.hadoop.hbase.regionserver.IncreasingToUpperBoundRegionSplitPolicy(在region没有达到maxFileSize的前提下,如果fileSize达到regionCount * regionCount * flushSize则进行split操作)
hbase.regionserver.regionSplitLimit
单台RegionServer上region数上限线上配置:150
默认配置:2147483647
hbase-env.sh配置
指定系统运行环境
export JAVA_HOME= /usr/lib/jvm/java-6-sun/ #JDK HOME export HBASE_HOME= /home/hadoop/cdh4/hbase-0 .94.2-cdh4.2.1 # HBase 安装目录 export HBASE_LOG_DIR= /mnt/dfs/11/hbase/hbase-logs #日志输出路径 |
JVM参数调优
export HBASE_OPTS="-verbose:gc -XX:+PrintGCDetails -Xloggc:${HBASE_LOG_DIR} /hbase-gc .log -XX:+PrintGCTimeStamps -XX:+PrintGCApplicationConcurrentTime -XX:+PrintGCApplicationStoppedTime \ -server -Xmx20480m -Xms20480m -Xmn10240m -Xss256k -XX:SurvivorRatio=4 -XX:MaxPermSize=256m -XX:MaxTenuringThreshold=15 \ -XX:ParallelGCThreads=16 -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:CMSFullGCsBeforeCompaction=5 -XX:+UseCMSCompactAtFullCollection \ -XX:+CMSClassUnloadingEnabled -XX:CMSInitiatingOccupancyFraction=70 -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSMaxAbortablePrecleanTime=5000\ " |
相关文章推荐
- [LeetCode-111] Minimum Depth of Binary Tree (二叉树最小深度)
- 深入理解Java内存模型(六)——final
- 测试用例设计步骤
- select超链接跳转A
- SCDPM 2016下备份SQL Server 2016
- 16 复杂链表的复制
- BZOJ 3218 a + b Problem 最大流 + 可持久化线段树
- 从僵尸网络追踪到入侵检测 第8章 Honeyd配置文件使用
- Windows下配置使用Memcached Manager
- C语言——转义字符
- DML、DDL、DCL
- 如今新的博客全部迁往新的地址
- 编程中遇到的Bugs
- DOCTYPE
- Python学习手册 - 10
- 简单实现单链表
- 浏览器缓存机制
- 【linux信号】10.11信号集
- Android进阶笔记10:Android 万能适配器
- 车辆管理系统之继续自己的任务(五)