hadoop删除节点和添加节点
2015-08-05 01:46
483 查看
从hadoop移除机器
把需要移除的机器增加到exclueds文件中,强制刷新datanode列表,等待decommission 状态正常后,即可停机下架,如有必要在namenode执行balancer操作。
操作命令:
在master的conf/hdfs-site.xml中加入
<property>
<name>dfs.hosts.exclude</name>
<value>excludes文件路径</value>
</property>
创建exclueds文件
文件内容增加你想删除的节点的机器名,一行一个
${HADOOP_HOME}/bin/hdfs dfsadmin -refreshNodes命令刷新datanode例表
${HADOOP_HOME}/bin/hdfs dfsadmin -report查看结果
向hadoop添加机器
启动datanode和jobtracker进程,当新添加的机器向namenode发送心跳信息后,namenode会自动感知新加入的机器,如果有必要可以做balancer操作。
操作命令:
1.在新机器上
${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode
${HADOOP_HOME}/sbin/yarn-daemon.sh start nodemanager
2.为防新数据大量写到新添加的机器上,在namenode上 ${HADOOP_HOME}/bin/hdfs balancer
把需要移除的机器增加到exclueds文件中,强制刷新datanode列表,等待decommission 状态正常后,即可停机下架,如有必要在namenode执行balancer操作。
操作命令:
在master的conf/hdfs-site.xml中加入
<property>
<name>dfs.hosts.exclude</name>
<value>excludes文件路径</value>
</property>
创建exclueds文件
文件内容增加你想删除的节点的机器名,一行一个
${HADOOP_HOME}/bin/hdfs dfsadmin -refreshNodes命令刷新datanode例表
${HADOOP_HOME}/bin/hdfs dfsadmin -report查看结果
向hadoop添加机器
启动datanode和jobtracker进程,当新添加的机器向namenode发送心跳信息后,namenode会自动感知新加入的机器,如果有必要可以做balancer操作。
操作命令:
1.在新机器上
${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode
${HADOOP_HOME}/sbin/yarn-daemon.sh start nodemanager
2.为防新数据大量写到新添加的机器上,在namenode上 ${HADOOP_HOME}/bin/hdfs balancer
相关文章推荐
- #每日Linux小练习#02 tr命令的使用
- Linux下单节点伪分布式Hadoop的配置
- iOS应用架构谈 view层的组织和调用方案
- CentOS 6.5安装图形界面
- iOS应用架构谈 开篇
- 最好最实用的二次开发教程(dedeCMS,ecshop为例)
- bzoj 1623: [Usaco2008 Open]Cow Cars 奶牛飞车
- Linux makefile 教程 非常详细 易懂
- maven tomcat eclipse 配置 debug
- 给Linux系统管理员准备的Nmap命令的29个实用范例
- CentOS、Ubuntu、Debian三个linux比较异同
- ubuntu15.10 安装 lampp
- zookeeper四字命令
- 积累linux常用命令大全
- wampserver改变默认网站目录的办法
- 你必须了解的Linux世界中的五位大英雄
- linux 如何显示一个文件的某几行(中间几行)
- 转载:使用命令行启动VirtualBox虚拟机
- centos 安装swoole
- linux内核模块所需包含的头文件