hadoop2.x 动态添加节点
2016-03-03 20:01
429 查看
假设添加的节点主机名为slave03
1.在各个节点上修改hosts文件添加islave03(确定防火墙已经关闭)
2.配置namenode节点和resourcemanager节点到slave03的免登录
3.拷贝slave02(datanode节点)所有的hadoop文件到slave03上
4.在/hadoop/zookeeper-3.4.5/conf/zoo.cfg 添加(server.3表示之前已经存在2个datanode节点)
6.在slave03上启动zookeeper
7.在slave03启动journalnode
8.在slave03启动datanode
9.启动nodemanager
jps查看状态
(在namenode上hdfs dfsadmin -report 查看datanode)
(在resourcemanage上yarn node -list 查看nodemanager)
10.默认balancer的threshold为10%,即各个节点与集群总的存储使用率相差不超过10%,我们可将其设置为5%在namenode上
1.在各个节点上修改hosts文件添加islave03(确定防火墙已经关闭)
2.配置namenode节点和resourcemanager节点到slave03的免登录
3.拷贝slave02(datanode节点)所有的hadoop文件到slave03上
4.在/hadoop/zookeeper-3.4.5/conf/zoo.cfg 添加(server.3表示之前已经存在2个datanode节点)
server.3=slave03:2888:38885.修改/hadoop/zookeeper-3.4.5/tmp/myid 的内容为3(这是我们之前创建的文件表示journalnode的id标识)
6.在slave03上启动zookeeper
cd /hadoop/zookeeper-3.4.5/bin/ ./zkServer.sh start
7.在slave03启动journalnode
cd /hadoop/hadoop-2.7.0 sbin/hadoop-daemon.sh start journalnode
8.在slave03启动datanode
sbin/hadoop-daemon.sh start datanode
9.启动nodemanager
sbin/yarn-daemon.sh start nodemanager
jps查看状态
(在namenode上hdfs dfsadmin -report 查看datanode)
(在resourcemanage上yarn node -list 查看nodemanager)
[root@slave03 hadoop-2.7.0]# jps 1904 NodeManager 1411 QuorumPeerMain 1496 JournalNode 2010 Jps 1583 DataNode
10.默认balancer的threshold为10%,即各个节点与集群总的存储使用率相差不超过10%,我们可将其设置为5%在namenode上
sbin/start-balancer.sh -threshold 5
相关文章推荐
- linux
- Input Device Configuration
- linux shell 编程笔记 - 后台执行命令crontab
- Linux软件包管理之rpm
- osgi在linux下的应用
- 对于大流量的网站,采用什么样的方法解决访问量问题
- Linux 利用gdb进行程序奔溃定位
- VNC 登录上去灰屏,没有shell脚本,鼠标变成X
- VNC 登录上去灰屏,没有shell脚本,鼠标变成X
- 360路由器刷openwrt后设置wifi中继
- Centos rsyslog远程日志服务配置
- linux下tar gz bz2 tgz z等众多压缩文件的压缩与解压方法
- tomcat的配置
- linux下使用编译使用GeoIp 出现问题
- Ubuntu下安装Tomcat7
- Operating Systems: Three Easy Pieces阅读笔记(五)LFS
- Hadoop2.X 64位编译
- Linux shell的标准输入、输出和错误
- 利用shell批量更改文件后缀名
- docker 常用命令