Hadoop,HBase添加和删除节点
2014-09-24 17:44
330 查看
Hadoop添加和删除节点
一.添加节点
(一)添加节点有两种方式,一种是静态添加,关闭hadoop集群,配置相应配置,重启集群(这个就不再重述了)
(二)动态添加,在不重启集群的情况下添加节点
1.设置新datanode与namenode的SSH无密码登陆
2.在hosts添加主机名称,并且把该文件复制到集群中的其他节点上。
3.修改namenode节点上的slaves文件(主要用于下次重启的时候使用)
4.在datanode中启动进程:
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start nodemanager
5.在datanode中启动:start-balancer.sh均衡当前的hdfs块
二.删除节点
1.需要在hdfs-site.xml配置文件中配置:
<property>
<name>dfs.hosts.exclude</name>
<value>/usr/local/cluster/hadoop-2.2.0/etc/hadoop/exclude</value>
</property>
在hadoop 2.2.0的文档中说通过配置dfs.namenode.hosts.exclude,发现没有效果,使用早期版本的配置项dfs.hosts.exclude才有效果
2.在exclude文件中添加需要删除的节点。
然后执行刷新命令:hdfs dfsadmin -refreshNodes
根据hdfs dfsadmin -report可以查看该节点的状况
三.添加HBase节点
在HMaster的regionserver配置文件中添加新节点的host
在新节点中通过下面命令启动HRegionServer:
hbase-daemon.sh start regionserver
可以通过hbase shell和status进行确认
四.删除HBase节点
hbase-daemon.sh stop regionserver
在下线节点前要停止Load Balancer
要下线一台RegionServer可以这样做,当执行graceful_stop脚本的时候,要将Region Load Balancer关掉(否则balancer和下线脚本会在region部署的问题上存在冲突)
graceful_stop.sh HOSTNAME
一.添加节点
(一)添加节点有两种方式,一种是静态添加,关闭hadoop集群,配置相应配置,重启集群(这个就不再重述了)
(二)动态添加,在不重启集群的情况下添加节点
1.设置新datanode与namenode的SSH无密码登陆
2.在hosts添加主机名称,并且把该文件复制到集群中的其他节点上。
3.修改namenode节点上的slaves文件(主要用于下次重启的时候使用)
4.在datanode中启动进程:
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start nodemanager
5.在datanode中启动:start-balancer.sh均衡当前的hdfs块
二.删除节点
1.需要在hdfs-site.xml配置文件中配置:
<property>
<name>dfs.hosts.exclude</name>
<value>/usr/local/cluster/hadoop-2.2.0/etc/hadoop/exclude</value>
</property>
在hadoop 2.2.0的文档中说通过配置dfs.namenode.hosts.exclude,发现没有效果,使用早期版本的配置项dfs.hosts.exclude才有效果
2.在exclude文件中添加需要删除的节点。
然后执行刷新命令:hdfs dfsadmin -refreshNodes
根据hdfs dfsadmin -report可以查看该节点的状况
三.添加HBase节点
在HMaster的regionserver配置文件中添加新节点的host
在新节点中通过下面命令启动HRegionServer:
hbase-daemon.sh start regionserver
可以通过hbase shell和status进行确认
四.删除HBase节点
hbase-daemon.sh stop regionserver
在下线节点前要停止Load Balancer
要下线一台RegionServer可以这样做,当执行graceful_stop脚本的时候,要将Region Load Balancer关掉(否则balancer和下线脚本会在region部署的问题上存在冲突)
graceful_stop.sh HOSTNAME
相关文章推荐
- Hadoop热添加删除节点(含Hbase)
- Hadoop添加删除节点
- hadoop 添加删除节点以及搭建集群注意问题
- hadoop集群添加删除节点
- hadoop添加节点和删除节点
- hadoop和hbase节点添加和单独重启
- Hadoop添加删除节点
- 添加和删除hadoop集群中的节点
- hadoop和hbase节点添加和单独重启
- Hadoop添加删除节点
- hadoop和hbase节点添加和单独重启
- Hadoop添加删除节点
- Hadoop2.x集群动态添加删除数据节点
- hadoop添加节点和删除节点
- hadoop配置 - 添加删除节点
- hadoop添加删除节点
- Hadoop添加删除节点
- Hadoop添加删除节点
- Hadoop添加删除节点
- hadoop 中添加、删除节点介绍