Hadoop添加和撤销节点
2015-08-10 16:54
344 查看
注:转载之>>>http://my.oschina.net/MrMichael/blog/291802#OSC_h1_1和/article/4852073.html
添加节点
1:准备工作:添加用户并设置无密码登录,设置namenode节点到新节点的无密码连接,并修改所有节点的hosts文件(添加节点IP-hostname映射)
2:修改namenode节点的slave文件:添加新增节点的ip或host
3:在新节点的机器上,启动服务
4:均衡block
1)如果不balance,那么cluster会把新的数据都存放在新的node上,这样会降低mapred的工作效率
2)设置平衡阈值,默认是10%,值越低各节点越平衡,但消耗时间也更长
3)设置balance的带宽,默认只有1M/s
注意:
1. 必须确保slave的firewall已关闭;
2. 确保新的slave的ip已经添加到master及其他slaves的/etc/hosts中,反之也要将master及其他slave的ip添加到新的slave的/etc/hosts中
撤销(退役)节点
1:集群配置
1.1:修改Name节点的hdfs-site.xml增加
1.2:修改Name节点的mapred-site.xml增加
2:确定要下架的机器 。新建excludes文件,文件里写要删除节点的hostname
dfs.hosts.exclude和mapred.hosts.exclude定义的文件内容为,每个需要下线的机器,一行一个。这个将阻止他们去连接Namenode。如:
3:强制重新加载配置 。Name节点执行
4:关闭节点。查看关闭进程
当节点处于Decommissioned,表示关闭成功。
添加节点
1:准备工作:添加用户并设置无密码登录,设置namenode节点到新节点的无密码连接,并修改所有节点的hosts文件(添加节点IP-hostname映射)
2:修改namenode节点的slave文件:添加新增节点的ip或host
3:在新节点的机器上,启动服务
[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start tasktracker(hadoop1) [root@slave-004 hadoop]# ./bin/yarn-daemon.sh start nodemanager(hadoop2)
4:均衡block
[root@slave-004 hadoop]# ./bin/start-balancer.sh
1)如果不balance,那么cluster会把新的数据都存放在新的node上,这样会降低mapred的工作效率
2)设置平衡阈值,默认是10%,值越低各节点越平衡,但消耗时间也更长
[root@slave-004 hadoop]# ./bin/start-balancer.sh -threshold 5
3)设置balance的带宽,默认只有1M/s
dfs.balance.bandwidthPerSec 1048576 Specifies the maximum amount of bandwidth that each datanode can utilize for the balancing purpose in term of the number of bytes per second.
注意:
1. 必须确保slave的firewall已关闭;
2. 确保新的slave的ip已经添加到master及其他slaves的/etc/hosts中,反之也要将master及其他slave的ip添加到新的slave的/etc/hosts中
撤销(退役)节点
1:集群配置
1.1:修改Name节点的hdfs-site.xml增加
dfs.hosts.exclude和mapred.hosts.exclude定义的文件内容为,每个需要下线的机器,一行一个。这个将阻止他们去连接Namenode。如:
slave-003 slave-004
3:强制重新加载配置 。Name节点执行
相关文章推荐
- tomcat结合nginx使用小结
- 内置装饰器@property
- webform基本控件-----DropDownList
- 7个免费的Linux FTP客户端工具
- Timus Online Judge 2055 Urban Geography 动态树维护mst(第44case超时了)---留着以后做吧
- CentOS查看端口是否被占用
- CentOS查看端口是否被占用
- CentOS查看端口是否被占用
- CentOS查看端口是否被占用
- 经典linux内核面试题
- Linux - 停机常用的anacron
- Linux - 停机常用的anacron
- Linux shell脚本执行方式:source、sh、bash、./执行脚本的区别
- linux 串口编程
- linux shell 字符串操作(长度,查找,替换)详解
- 常去的一些外国网站
- zabbix监控H3C交换机端口流量
- tomcat服务器不写端口号、不写项目名访问项目、虚拟目录配置
- Linux系统命令及Shell脚本学习笔记四:Linux文件系统
- centos安装setup小工具