Hbase 笔记(12) 集群管理
2014-11-14 16:01
387 查看
1、减少节点
减少:graceful_stop.sh VA128
系统会把region从对应服务器上移出去,减少扰动。
重新启动节点: hbase-daemon.sh start regionserver
2、滚动重启
使用 hbase hbck 可以确认集群数据的一致性(meta 表)
3、新增服务器
添加备份hmaster:
(1). 方法1:修改 backup-masters 文件, 添加机器名
(2) 方法2:使用命令 hbase-daemon.sh start master --backup
添加新的region server:
(1). 方法1:修改regionservers 文件
(2) 方法2:使用命令 hbase-daemon.sh start regionserver
4、导入、导出数据
Hbase 包自带工具
导出命令:hadoop jar ./hbase-0.94.24.jar export testtable /user/admin/testtable
导入命令:hadoop jar ./hbase-0.94.24.jar import testtable /user/admin/testtable
5、CopyTable 工具
用于主从集群之间的复制
hadoop jar ./hbase-0.94.24.jar copyTable --new.name=testtable2 testtable
6、批量导入
方法1:MapReduce 方法
方法2:hadoop jar ./hbase-0.94.24.jar importtv
hadoop jar ./hbase-0.94.24.jar completebulkload
7、复制
配置hbase.replication 为true
然后使用命令:
add_peer '1', 'server2:2181:/hbase2'
start_replication
stop_replication
remove_peer '1'
确认复制:
hadoop jar ./hbase-0.94.24.jar verifyrep
8、集群共存
为了测试,可让让两个不同的HBase实例运行在同一个物理机器上。
9、改变日志级别
修改 log4j.properties
10、故障处理 Fsck
命令:hbase hbck
可以检查region是否同时存在于.MTAT. 表和HDFS中,检查其是否只被指派给唯一的region server。
可以通过表细节信息与region比较,找到缺失的region,检查region起始终止键范围中的空洞或重叠。
-fix 选项可修复问题
11、日志分析
12、常见问题
(1)、 安装检查内容:
文件句柄:cat /proc/<PID of JVM>/limits
DataNode连接数:
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>
压缩:
垃圾回收/内存调优:
(2)、稳定性问题:
ZooKeeper 不能与 DataNode、TaskTracker、RegionServer部署在同一个节点。
在小集群中,ZooKeeper 可与NameNode、SecondaryNamenode、JobTracker 部署到一起。
减少:graceful_stop.sh VA128
系统会把region从对应服务器上移出去,减少扰动。
重新启动节点: hbase-daemon.sh start regionserver
2、滚动重启
使用 hbase hbck 可以确认集群数据的一致性(meta 表)
3、新增服务器
添加备份hmaster:
(1). 方法1:修改 backup-masters 文件, 添加机器名
(2) 方法2:使用命令 hbase-daemon.sh start master --backup
添加新的region server:
(1). 方法1:修改regionservers 文件
(2) 方法2:使用命令 hbase-daemon.sh start regionserver
4、导入、导出数据
Hbase 包自带工具
导出命令:hadoop jar ./hbase-0.94.24.jar export testtable /user/admin/testtable
导入命令:hadoop jar ./hbase-0.94.24.jar import testtable /user/admin/testtable
5、CopyTable 工具
用于主从集群之间的复制
hadoop jar ./hbase-0.94.24.jar copyTable --new.name=testtable2 testtable
6、批量导入
方法1:MapReduce 方法
方法2:hadoop jar ./hbase-0.94.24.jar importtv
hadoop jar ./hbase-0.94.24.jar completebulkload
7、复制
配置hbase.replication 为true
然后使用命令:
add_peer '1', 'server2:2181:/hbase2'
start_replication
stop_replication
remove_peer '1'
确认复制:
hadoop jar ./hbase-0.94.24.jar verifyrep
8、集群共存
为了测试,可让让两个不同的HBase实例运行在同一个物理机器上。
9、改变日志级别
修改 log4j.properties
10、故障处理 Fsck
命令:hbase hbck
可以检查region是否同时存在于.MTAT. 表和HDFS中,检查其是否只被指派给唯一的region server。
可以通过表细节信息与region比较,找到缺失的region,检查region起始终止键范围中的空洞或重叠。
-fix 选项可修复问题
11、日志分析
12、常见问题
(1)、 安装检查内容:
文件句柄:cat /proc/<PID of JVM>/limits
DataNode连接数:
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>
压缩:
垃圾回收/内存调优:
(2)、稳定性问题:
ZooKeeper 不能与 DataNode、TaskTracker、RegionServer部署在同一个节点。
在小集群中,ZooKeeper 可与NameNode、SecondaryNamenode、JobTracker 部署到一起。
相关文章推荐
- YII框架分析笔记12:主题管理
- 关于Hbase的集群管理
- 第7周 HBase集群安装,管理
- Hbase 笔记(5) 客户端API 管理功能
- HBase笔记一:HBase的集群环境配置
- cacti性能优化笔记(面向大规模集群的监控管理)
- 使用zookeeper管理多个hbase集群
- HBase的的管理笔记
- hbase 集群管理脚本
- hadoop1.2.1+zk-3.4.4+hbase-0.94.12集群安装
- 系统集成项目管理工程师笔记(12)项目沟通管理(13)项目合同管理
- Hadoop学习笔记【12】-Hadoop2.1全分布式集群安装
- HBase入门笔记(四)--完全分布式HBase集群安装配置
- HBase入门笔记(三)-- 完全分布模式Hadoop集群安装配置
- HBase入门笔记(四)--完全分布式HBase集群安装配置
- Fourinone学习笔记-集群管理
- HBase的的管理笔记
- Hadoop学习笔记【12】-Hadoop2.1全分布式集群安装
- 王家林的81门一站式云计算分布式大数据&移动互联网解决方案课程第三门课程:云计算分布式大数据Hadoop征服之旅:HDFS&MapReduce&HBase&Hive&集群管理
- Hbase 学习笔记(三):管理模块