Hadoop集群中引入新DataNode节点
2013-04-16 09:25
573 查看
例如新增的节点ip为192.168.1.xxx
在所有nn和dn节点上增加192.168.1.xxx datanode-xxx的hosts
在xxx上新建用户
useradd hadoop -s /bin/bash -m
并将其他dn上的.ssh中的所有文件拷贝到xxx上的/home/hadoop/.ssh路径下
安装jdk
apt-get install sun-java6-jdk
将hadoop文件拷贝到/home/hadoop下
修改slaves文件
增加 datanode-xxx
并同步到各个集群节点中
切换到hadoop用户下
启动数据节点
bin/hadoop-daemon.sh start datanode
bin/hadoop-daemon.sh start tasktracker
完成以后,进行数据同步
bin/start-balancer.sh -threshold 3
对于新增的节点:
需要重新设置hostname,hostname设置为与slaves配置文件中相同的内容。
hostname datanode-xxx(重启后失效)
修改/etc/hostname,然后执行/etc/init.d/hostname.sh start(重启后不失效)
然后就可以通过
http://namenodeip:50070 来查看新增节点是否可以正常引入到集群。
在所有nn和dn节点上增加192.168.1.xxx datanode-xxx的hosts
在xxx上新建用户
useradd hadoop -s /bin/bash -m
并将其他dn上的.ssh中的所有文件拷贝到xxx上的/home/hadoop/.ssh路径下
安装jdk
apt-get install sun-java6-jdk
将hadoop文件拷贝到/home/hadoop下
修改slaves文件
增加 datanode-xxx
并同步到各个集群节点中
切换到hadoop用户下
启动数据节点
bin/hadoop-daemon.sh start datanode
bin/hadoop-daemon.sh start tasktracker
完成以后,进行数据同步
bin/start-balancer.sh -threshold 3
对于新增的节点:
需要重新设置hostname,hostname设置为与slaves配置文件中相同的内容。
hostname datanode-xxx(重启后失效)
修改/etc/hostname,然后执行/etc/init.d/hostname.sh start(重启后不失效)
然后就可以通过
http://namenodeip:50070 来查看新增节点是否可以正常引入到集群。
相关文章推荐
- Hadoop集群中引入新DataNode节点
- hadoop1.1.2集群动态添加datanode节点
- hadoop大集群优化配置,datanode节点数量为100
- Hadoop 生产环境集群平滑下线节点(datanode/tasktracker or nodemanager)
- hadoop2.7集群,新增datanode节点后报错的解决思路
- hadoop集群运行jps命令以后Datanode节点未启动的解决办法
- hadoop集群出现两个datanode节点互相排斥的情况解决
- 在Hadoop集群实施成功后再次格式化名称节点,datanode无法加入集群的处理办法
- Hadoop集群动态添加datanode节点步骤
- hadoop集群的负载均衡配置与添加DataNode节点和TaskTracker节点
- hadoop集群启动后,datanode节点上jps后NodeManager无法启动
- Hadoop 委任和解除节点(DataNode和NodeManager) Hadoop 集群管理员经常需要向集群中添加或者移除节点。通常情况下,节点同时运行DataNode和NodeManager。
- hadoop集群启动之后dataNode节点没有启动
- hadoop1.2.1集群增加datanode节点
- hadoop集群中动态添加新的DataNode节点
- hadoop集群启动时DataNode节点启动失败
- hadoop集群启动时DataNode节点启动失败
- hadoop集群运行jps命令以后Datanode节点未启动的解决办法
- Hadoop集群搭建过程中DataNode与TaskTracker节点的问题
- hadoop集群运行jps命令以后Datanode节点未启动的解决办法