Hadoop卸载或增加节点
2015-12-24 00:39
190 查看
卸载节点或者增加节点:
方式一:静态的增添删除:将集群关闭,修改配置文件(etc/hadoop/slaves),重新启动集群(很黄很暴力,不够人性化)。
方式二:动态的增加和卸载节点。
卸载DataNode节点:
1)要在HDFS主节点NameNode上,进行配置。
a)在etc/hadoop/hdfs-site.xml中,设置属性值:
dfs.hosts.exclude
/opt/modules/hadoop-2.5.0/ect/hadoop/dfs-hosts.exclude
b)创建文件并在文件中加入卸载节点的IP地址或者主机名。
2)在NameNode节点上刷新集群
bin/hdfs dfsadmin -refreshNodes
3)从页面查看卸载相关信息(过程)。
4)通过命令来查看结果。
bin/hdfs dfsadmin -report
5)在卸载机器上关闭DataNode进程
sbin/hadoop-daemon.sh stop datanode
6)将dfs-hosts.exclude文件内容清空
注意:
在卸载NodeManager时,一定要主要配置在ResourceManager上。
yarn.resourcemanager.nodes.exclude-path
/opt/modules/hadoop-2.5.0/etc/hadoop/yarn-hosts.exclude
增加新机器,DataNode(存储数据)和NodeManager(计算)
1)系统、主机名、IP地址、防火墙、SELinux等与集群的从节点基本配置保持一致。
2)安装JDK(版本、路径、环境变量保持一致)。
3)配置主节点(HDFS:NameNode;YARN:ResourceManager)所在机器到新机器的SSH无密钥登录(方便集群的启动)。
4)配置修改etc/hadoop/slaves文件(只需要在主节点上修改)。
5)分发hadoop安装包(配置完成)到新机器上。
6)创建HDFS、YARN在新机器的本地磁盘上一些文件夹。
7)在新机器上启动DataNode和NodeManager节点。
DataNode:sbin/hadoop.daemon.sh start datanode
NodeManager:sbin/yarn.daemon.sh start nodemanager
注意:
需要将新机器的IP地址与主机名称的映射关系配置到系统的【/etc/hosts】文件中,最好是所有集群中的机器都要添加。
方式一:静态的增添删除:将集群关闭,修改配置文件(etc/hadoop/slaves),重新启动集群(很黄很暴力,不够人性化)。
方式二:动态的增加和卸载节点。
卸载DataNode节点:
1)要在HDFS主节点NameNode上,进行配置。
a)在etc/hadoop/hdfs-site.xml中,设置属性值:
dfs.hosts.exclude
/opt/modules/hadoop-2.5.0/ect/hadoop/dfs-hosts.exclude
b)创建文件并在文件中加入卸载节点的IP地址或者主机名。
2)在NameNode节点上刷新集群
bin/hdfs dfsadmin -refreshNodes
3)从页面查看卸载相关信息(过程)。
4)通过命令来查看结果。
bin/hdfs dfsadmin -report
5)在卸载机器上关闭DataNode进程
sbin/hadoop-daemon.sh stop datanode
6)将dfs-hosts.exclude文件内容清空
注意:
在卸载NodeManager时,一定要主要配置在ResourceManager上。
yarn.resourcemanager.nodes.exclude-path
/opt/modules/hadoop-2.5.0/etc/hadoop/yarn-hosts.exclude
增加新机器,DataNode(存储数据)和NodeManager(计算)
1)系统、主机名、IP地址、防火墙、SELinux等与集群的从节点基本配置保持一致。
2)安装JDK(版本、路径、环境变量保持一致)。
3)配置主节点(HDFS:NameNode;YARN:ResourceManager)所在机器到新机器的SSH无密钥登录(方便集群的启动)。
4)配置修改etc/hadoop/slaves文件(只需要在主节点上修改)。
5)分发hadoop安装包(配置完成)到新机器上。
6)创建HDFS、YARN在新机器的本地磁盘上一些文件夹。
7)在新机器上启动DataNode和NodeManager节点。
DataNode:sbin/hadoop.daemon.sh start datanode
NodeManager:sbin/yarn.daemon.sh start nodemanager
注意:
需要将新机器的IP地址与主机名称的映射关系配置到系统的【/etc/hosts】文件中,最好是所有集群中的机器都要添加。
相关文章推荐
- Hadoop的伪分布式搭建
- 视频网站的盈利模式分析
- 俺自己的网站上线啦,求围观
- Hadoop卸载或增加节点
- Linux 内核 Starting kernel ... 串口无输出问题归纳总结
- ArcGIS Desktop Add-in插件开发
- window下为apache配置ssl证书
- linux安装jdk 省心安装法
- OpenGL超级宝典7th简体中文-第三章-管线一览
- Linux文件系统及磁盘分区与格式化
- 在Mac OS上自行编译安装Apache服务器和PHP解释器
- 在Mac OS上使用mod_wsgi连接Python与Apache服务器
- 在Linux系统上部署Apache+Python+Django+MySQL环境
- Linux下将Python的Django项目部署到Apache服务器
- 网站论坛注册中我同意等待倒记时特效代码
- 架构案例
- NSThread_多线程开发 NSOperation 自带地图应用_路径导航 NSThread
- Fragment中无法调用onCreateOptionsMenu(),即无法显示菜单
- 多线程 NSOperation
- Cygwin環境的設置