hadoop2.7.1分布式集群搭建图解
2017-07-29 14:58
204 查看
引言
网上有很多hadoop分布式部署的步骤和方法,但对于新手来说,搭建这样一套分布式环境,并不能对整个集群环境有一个整体的结构认识,因此本文以图解的方式解释下我们搭建hadoop分布式环境都要做哪些工作第一步,配置主机名
Namenode节点对应的主机名为masterDatanode节点对应的主机名分别为node1、node2
分别配置master、node1和node2等机器的主机名
这些步骤作用很关键,如果配置不成功,进行分布式计算的时候有可能找不到主机名
第二步,配置主机互信
master能通过SSH免密码登录两个子结点具体配置步骤,可以参考:hadoop2.7完全分布式集群搭建以及任务测试 这篇博文中的“安装SSH,并让master免验证登陆自身服务器、节点服务器”章节
第三步,配置master节点
第四步,同步master节点的程序和配置文件到各datanode
第五步,格式化namenode
在master节点上执行如下命令:/usr/local/hadoop/hadoop-2.7.1/bin/hdfs namenode-format
第六步,启动/停止hadoop
主结点master上进行操作:启动,执行完成后,master、node1和node2等节点的hadoop进程都会启动:
sh /usr/local/hadoop/hadoop-2.7.1/sbin/start-all.sh
停止,执行完成后,master、node1和node2等节点的hadoop进程都会停止:
sh /usr/local/hadoop/hadoop-2.7.1/sbin/stop-all.sh
第七步,查看hadoop状态
master:node1:
node2:
至此,部署完成!
本文主要是通过图解的方式说明整个部署的流程,初学者可以有个整体的认识和把握,
详细的部署方法,可以参考:hadoop2.7完全分布式集群搭建以及任务测试
相关文章推荐
- Eclipse在基于Ubuntu14.04的hadoop2.7.1分布式集群下的搭建
- Ubuntu 上Hadoop2.7.1分布式集群搭建
- Zookeeper + Hadoop2.6 集群HA + spark1.6完整搭建与所有参数解析
- Hadoop生产集群搭建
- Hadoop 2.6 集群搭建从零开始之3 Hadoop的安装与配置(伪分布式环境)
- Hadoop2.2.0 HA + Jdk1.8.0 + Zookeeper3.4.5 + Hbase0.98 集群搭建详细过程(服务器集群)
- hadoop2.7.2分布式集群搭建和生态系统配置
- hadoop集群ambari搭建(2)之制作hadoop本地源
- hadoop 2.6.4 伪分布集群搭建
- hadoop-2.6.4集群编译搭建-阿里云和腾讯云
- 基于Hadoop2.5.0的集群搭建
- Hadoop 2.7.2 集群搭建(转载)
- 使用Docker搭建Hadoop集群
- 基于Docker搭建Hadoop集群(ubuntu操作系统)
- Hadoop2.6集群环境搭建(伪分布式)
- 如何搭建Hadoop集群环境
- CentOS7搭建Hadoop2.6完全分布式集群环境
- hadoop集群搭建【伪分布式】
- window环境搭建hadoop单点集群
- hadoop1.0集群搭建