Hadoop 新增删除节点
2015-08-09 21:57
267 查看
1 新增Data节点
1.1 修改/etc/hosts,增加datanode的ip1.2 在新增加的节点启动服务
hadoop-daemon.sh start datanode yarn-daemon.sh start nodemanager
1.3 均衡block
start-balancer.sh
1)如果不balance,那么cluster会把新的数据都存放在新的node上,这样会降低mapred的工作效率
2)设置平衡阈值,默认是10%,值越低各节点越平衡,但消耗时间也更长
start-balancer.sh -threshold 5
2 删除节点
2.1 修改修改conf/hdfs-site.xml文件中的 “dfs.hosts.exclude“,确定要下架的机器,dfs.hosts.exclude定义的文件内容为,每个需要下线的机器,一行一个。这个将阻止他们去连接Namenode。如:
slave-001 slave-002
2.2 强制重新加载配置
hadoop dfsadmin -refreshNodes
2.3 关闭节点
等待上面的操作结束后,需要下架的机器就能安全的关闭了
2.4 查看机群概况
hadoop dfsadmin -report
2.5 再次编辑conf/hdfs-site.xml文件,修改dfs.hosts.exclude,将下架的机器移除
相关文章推荐
- OpenCV的支持向量机SVM的程序
- Keepalived 在openstack的实施
- Linux - mail
- Linux - mail
- uva 11361 Investigating Div-Sum Property 数位dp
- #每日Linux小练习#06 Shell Script知识点总结(上)
- apache服务器安装以及使用passenger插件部署rails应用
- linux下的cd 切换工作目录
- docker安装hadoop集群
- apache 访问权限基本设置
- CentOS7安装mysql5.6.26
- Linux-Centos5.3中文乱码问题解决
- nginx学习记录
- Linux程序设计(搭建开发环境--curses)
- [转载]Redhat和CentOS版本对照表(不断完善)
- Linux系统命令及Shell脚本学习笔记二:用户管理
- nginx - 性能优化,突破十万并发
- uva11992-Fast Matrix Operations(区间增值、改值)
- Linux下线程相关知识总结
- Linux文件系统