hadoop分布式环境搭建(vmware14+hadoop2.9.0(包含yarn)+Ubuntu16.04LTS+jdk1.8.0_161)
2018-02-12 17:14
459 查看
博主最近在vmware workstation14+hadoop2.9.0+Ubuntu16.04LTS环境下搭建了一个master(一个namenode)两个slave(即两个datanode)的分布式hadoop环境,下面将本次博主搭建的过程及步骤按照和各位博友分享,由于博主未保存搭建时各步骤的截图,因此将使用前辈们各步骤截图或者无截图,望各位前辈见谅。
进行配置之前,需要在ubuntu中安装vim插件编辑文件,相比于vi和gedit工具,该工具更容易操作,也能避免乱码等一系列不必要的问题。
安装命令:sudo apt-get install vim
(一)第一步:新建三台虚拟机,并进行相应的网络配置(静态IP,hostname文件配置,hosts文件配置,关闭防火墙或者开启相应端口)
(1)利用vmware workstation14新建三个虚拟机(网络模式选择桥接模式)
并根据实体机所在的网络环境,在虚拟机中设置静态IP,博主搭建的网络环境如下(各位博友根据自己网络环境进行相应变化):
master节点:192.168.1.200
slave1节点:192.168.1.201
slave2节点:192.168.1.202
以上配置可以从界面进行操作,以master为例。
(2)修改hostname文件,需要root权限,命令:su root,输入密码,然后进入root,然后vim etc/hostname,master节点机器,改为master,于此相同,slave1和slave2节点也分别改为slave1和slave2
(3)修改hosts文件,将下列内容添加进hosts文件(三个节点均需要配置此步骤,需要root权限,进入root参考上条,以master为例)
192.168.1.200 master
192.168.1.201 slave1
192.168.1.202 slave2
(4)关闭防火墙或者打开使用端口(三个节点均需要配置此步骤,博主使用的是关闭防火墙,简单粗暴)
进入root用户,关闭防火墙命令为:ufw disable
运行命令后,提示防火墙服务不会在开机时启动即可
(5)测试
master节点:ping slave1 看是否ping通
ping slave2 看是否ping通
slave1 节点:ping master 看是否ping通
ping slave2 看是否ping通
slave2 节点:ping master 看是否ping通
ping slave1 看是否ping通
如以上测试通过,则第一步配置成功
(二)第二步,三台虚拟机分别新建相同的用户(如果新建的三台虚拟机有相同的用户,我觉得此步骤可以省略,以master为例)
(1)新建名为hadoop用户组
(2)添加一个用户mwq,并添加进hadoop用户组,并制定用户目录
(3)设置mwq用户密码,连续输入两次
(4)设置mwq用户权限,赋予admin权限
以下步骤切
b607
换到mwq用户进行
(三)第三步,机器未安装ssh时需安装ssh服务,并在三台虚拟机之间开启ssh免密的登录
(1)三台机器均需安装ssh服务(以master节点为例)
(2)虚拟机自身免密登录自身(三台虚拟机均需要此步骤设置),以master节点为例,输入ssh-keygen -t rsa -P "",敲回车两次,直到出现以下界面
进入.ssh文件夹
用cat id_rsa.pub >> authorized_keys 命令生成免密登录authorized_keys,实现免密登录
效果如下:
第一次需要输入yes,以后就不需要了
(3)配置master到slave1和slave2的免密登录(该操作在slave1和slave2上操作)
首先将master中生成的id_rsa.pub复制到已安装ssh服务的slave1和slave2中的.ssh文件夹
然后利用cat id_rsa.pub >> authorized_keys实现master登录到slave1和slave2的免密登录
(四)安装java jdk环境(本文使用jdk1.8.0_161,三台虚拟机均需要此操作)
(1)首先去oracle官网,下载jdk8,默认文件保存到/home/mwq/Downloads
(2)我的解压目录为/usr/lib下的jvm文件夹,而且jvm文件夹不存在,需要在root权限下创建,如下图所示
进入jvm文件夹
复制Downloads文件夹下的jdk到jvm并解压
切换到mwq用户并配置环境变量,编辑/.bashrc文件
在文件末尾输入以下内容
使配置文件生效
查看是否配置成功
另外的slave1和slave2节点也可按照以上步骤配置
(五)下载并配置hadoop(三台主机均需相同配置)
在以下地址http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.9.0/hadoop-2.9.0.tar.gz下载hadoop-2.9.0,千万别下成hadoop-2.9.0-src.tar.gz
博主在/home/mwq中新建hadoop文件夹,并将hadoop-2.9.0解压到hadoop下面(三台主机存放hadoop-2.9.0文件的位置相同)
修改/home/mwq/hadoop/hadoop-2.9.0/etc/hadoop/hadoop-env.sh文件
修改/home/mwq/hadoop/hadoop-2.9.0/etc/hadoop/core-site.xml文件
修改/home/mwq/hadoop/hadoop-2.9.0/etc/hadoop/hdfs-site.xml文件
修改/home/mwq/hadoop/hadoop-2.9.0/etc/hadoop/mapred-site.xml.template文件
修改/home/mwq/hadoop/hadoop-2.9.0/etc/hadoop/slaves文件
修改/etc/profile文件,加入以下内容
运行结果:
(六)格式化,只需在master节点
hadoop namenode -format,测试通过后可以配置yarn和mapreduce
(七)配置yarn,主要修改yarn-env.sh,yarn-site.xml和mapred-sitexml,master节点修改好之后,复制到slave1和salve2节点即可
yarn-env.sh 添加jdk目录
mapred-site.xml在刚才配置的基础上,增加以下未有的内容
yarn-site.xml增加以下配置
(七)启动hadoop服务
start-all.sh
进行配置之前,需要在ubuntu中安装vim插件编辑文件,相比于vi和gedit工具,该工具更容易操作,也能避免乱码等一系列不必要的问题。
安装命令:sudo apt-get install vim
(一)第一步:新建三台虚拟机,并进行相应的网络配置(静态IP,hostname文件配置,hosts文件配置,关闭防火墙或者开启相应端口)
(1)利用vmware workstation14新建三个虚拟机(网络模式选择桥接模式)
并根据实体机所在的网络环境,在虚拟机中设置静态IP,博主搭建的网络环境如下(各位博友根据自己网络环境进行相应变化):
master节点:192.168.1.200
slave1节点:192.168.1.201
slave2节点:192.168.1.202
以上配置可以从界面进行操作,以master为例。
(2)修改hostname文件,需要root权限,命令:su root,输入密码,然后进入root,然后vim etc/hostname,master节点机器,改为master,于此相同,slave1和slave2节点也分别改为slave1和slave2
(3)修改hosts文件,将下列内容添加进hosts文件(三个节点均需要配置此步骤,需要root权限,进入root参考上条,以master为例)
192.168.1.200 master
192.168.1.201 slave1
192.168.1.202 slave2
(4)关闭防火墙或者打开使用端口(三个节点均需要配置此步骤,博主使用的是关闭防火墙,简单粗暴)
进入root用户,关闭防火墙命令为:ufw disable
运行命令后,提示防火墙服务不会在开机时启动即可
(5)测试
master节点:ping slave1 看是否ping通
ping slave2 看是否ping通
slave1 节点:ping master 看是否ping通
ping slave2 看是否ping通
slave2 节点:ping master 看是否ping通
ping slave1 看是否ping通
如以上测试通过,则第一步配置成功
(二)第二步,三台虚拟机分别新建相同的用户(如果新建的三台虚拟机有相同的用户,我觉得此步骤可以省略,以master为例)
(1)新建名为hadoop用户组
(2)添加一个用户mwq,并添加进hadoop用户组,并制定用户目录
(3)设置mwq用户密码,连续输入两次
(4)设置mwq用户权限,赋予admin权限
以下步骤切
b607
换到mwq用户进行
(三)第三步,机器未安装ssh时需安装ssh服务,并在三台虚拟机之间开启ssh免密的登录
(1)三台机器均需安装ssh服务(以master节点为例)
(2)虚拟机自身免密登录自身(三台虚拟机均需要此步骤设置),以master节点为例,输入ssh-keygen -t rsa -P "",敲回车两次,直到出现以下界面
进入.ssh文件夹
用cat id_rsa.pub >> authorized_keys 命令生成免密登录authorized_keys,实现免密登录
效果如下:
第一次需要输入yes,以后就不需要了
(3)配置master到slave1和slave2的免密登录(该操作在slave1和slave2上操作)
首先将master中生成的id_rsa.pub复制到已安装ssh服务的slave1和slave2中的.ssh文件夹
然后利用cat id_rsa.pub >> authorized_keys实现master登录到slave1和slave2的免密登录
(四)安装java jdk环境(本文使用jdk1.8.0_161,三台虚拟机均需要此操作)
(1)首先去oracle官网,下载jdk8,默认文件保存到/home/mwq/Downloads
(2)我的解压目录为/usr/lib下的jvm文件夹,而且jvm文件夹不存在,需要在root权限下创建,如下图所示
进入jvm文件夹
复制Downloads文件夹下的jdk到jvm并解压
切换到mwq用户并配置环境变量,编辑/.bashrc文件
在文件末尾输入以下内容
使配置文件生效
查看是否配置成功
另外的slave1和slave2节点也可按照以上步骤配置
(五)下载并配置hadoop(三台主机均需相同配置)
在以下地址http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.9.0/hadoop-2.9.0.tar.gz下载hadoop-2.9.0,千万别下成hadoop-2.9.0-src.tar.gz
博主在/home/mwq中新建hadoop文件夹,并将hadoop-2.9.0解压到hadoop下面(三台主机存放hadoop-2.9.0文件的位置相同)
修改/home/mwq/hadoop/hadoop-2.9.0/etc/hadoop/hadoop-env.sh文件
修改/home/mwq/hadoop/hadoop-2.9.0/etc/hadoop/core-site.xml文件
修改/home/mwq/hadoop/hadoop-2.9.0/etc/hadoop/hdfs-site.xml文件
修改/home/mwq/hadoop/hadoop-2.9.0/etc/hadoop/mapred-site.xml.template文件
修改/home/mwq/hadoop/hadoop-2.9.0/etc/hadoop/slaves文件
修改/etc/profile文件,加入以下内容
运行结果:
(六)格式化,只需在master节点
hadoop namenode -format,测试通过后可以配置yarn和mapreduce
(七)配置yarn,主要修改yarn-env.sh,yarn-site.xml和mapred-sitexml,master节点修改好之后,复制到slave1和salve2节点即可
yarn-env.sh 添加jdk目录
mapred-site.xml在刚才配置的基础上,增加以下未有的内容
yarn-site.xml增加以下配置
(七)启动hadoop服务
start-all.sh
相关文章推荐
- ubuntu上搭建eclipse下hadoop-2.7.1集群(全分布式)开发环境遇到的几个问题笔记
- ubuntu14-Hadoop2.7.2完全分布式集群搭建操作时遇到的错误
- Hadoop环境搭建(ubuntu+hadoop2.7 - 伪分布式)
- hadoop初识之三:搭建hadoop环境(配置HDFS,Yarn及mapreduce 运行在yarn)上及三种运行模式(本地模式,伪分布式和分布式介)
- Ubuntu下JDK及hadoop2.2.0的单机,伪分布式环境搭建
- Ubuntu系统安装+Hadoop伪分布式环境搭建+eclipse环境配置
- Ubuntu 14.10(32位)上搭建Hadoop2.5.0单机伪分布式环境
- ubuntu 13.04 hadoop伪分布式环境的搭建
- 在 Ubuntu 上搭建 Hadoop 分布式集群 Eclipse 开发环境
- ubuntu搭建hadoop伪分布式环境:jdk1.8.0+hadoop2.8.0+eclipse-jee-neon-3
- ubuntu16+Hadoop2.7.3环境搭建(伪分布式)
- Spark-1.6.1 Hadoop-2.6.4 VMware Ubuntu 分布式集群搭建 全过程
- ubuntu从头开始搭建hadoop伪分布式环境
- Hadoop2.6.0 + Spark1.4.0 在Ubuntu14.10环境下的伪分布式集群的搭建(实践可用)
- Spark-1.6.1 Hadoop-2.6.4 VMware Ubuntu 分布式集群搭建 全过程
- ubuntu安装配置hadoop伪分布式及eclipse搭建hadoop环境
- Ubuntu hadoop 伪分布式环境搭建步骤+ssh密钥(免密码登录)配置
- Hadoop集群环境搭建(win7下vmware虚拟ubuntu)
- 本地搭建Hadoop伪分布式环境之三:FlashFXP上传文件到Ubuntu
- Ubuntu16.04下伪分布式环境搭建之hadoop2.6.0、jdk1.7、Hbase0.98的安装与配置