hadoop伪分布式的安装搭建(Hadoop-2.7.3+jdk1.8+centos6.5)
2017-01-11 08:52
375 查看
安装4台主机模拟Hadoop工作环境:
主机 ip 账号密码
master 192.168.40.100 -------hadoop/hadoop
weekend001 192.168.40.101 -------hadoop/hadoop
weekend002 192.168.40.102 -------hadoop/hadoop
weekend003 192.168.40.103 -------hadoop/hadoop
安装步骤:
1.将网卡切换至nat模式并设置好网关
设置网段:192.168.40.0 子网掩码:255.255.255.0 -> apply -> ok
2.安装centos6.5
a.关闭防火墙(在root权限下)----------centos6.5
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
/////////////////////////////////补充一点centos7的防火墙关闭方式与centos6.5不同//////////////////////////////////
关闭方法为
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
b.修改ip (建议在图形用户界面下修改)
终端下修改的方法
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="static" ###
HWADDR="00:0C:29:3C:BF:E7"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
IPADDR="192.168.40.100" ###
NETMASK="255.255.255.0" ###
GATEWAY="192.168.40.2" ###--------------------------------请与vmware配置时的输入一一对应上
c.将创建的用户添加到sudoers的列表下
切换到root账户,修改/etc/sudoers文件,增加:hadoop ALL=(ALL) ALL
d.修改/etc/hosts 文件,增加4台机器的ip和hostname的映射关系
e.修改主机名
sudo vi /etc/sysconfig/network--------------------------------每个节点都要修改
sudo hostname master
//即可将主机名改为hadoop
重启生效
3.安装jdk
在hadoop文件夹下创建APP文件夹
mkdir /home/hadoop/app
通过ftp服务器将jdk文件,hadoop文件,eclipse等文件上传至虚拟机.
a. 解压jdktar -zxvf jdk-8u111-linux-x64.tar.gz -C /home/hadoop/app
b.sudo vim /etc/profile
在文件末尾添加
export JAVA_HOME=/home/hadoop/app/jdk1.8.0_111
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
c.刷新
source /etc/profile
d.验证配置
4.安装配置hadoop
a.tar -zvxf hadoop-2.7.3.tar.gz -C /home/hadoop/app
b.sudo vim /etc/profile
在文件末尾添加
export HADOOP_HOME=/home/hadoop/app/hadoop-2.7.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin(修改)
c.刷新配置文件
source /etc/profile
d.验证配置文件
hadoop version
5.修改配置文件(7个)
注意:hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop
配置之前,需要在app本地文件系统创建以下文件夹:
a.hadoop-env.sh
[plain]
view plain
copy
print?
[hadoop@master hadoop]$ echo $JAVA_HOME
/home/hadoop/app/jdk1.8.0_111
[hadoop@master hadoop]$ vi hadoop-env.sh
-----在第25/26行
b.core-site.xml
c.hdfs-site.xml
[plain]
view plain
copy
print?
<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
<pre name="code" class="plain"><property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/hdfs/data</value>
</property>
[plain]
view plain
copy
print?
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
d.mapred-site.xml
需要重命名: mv mapred-site.xml.template mapred-site.xml
[plain]
view plain
copy
print?
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<pre name="code" class="plain"><property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
e.yarn-site.xml
[plain]
view plain
copy
print?
<!-- 指定YARN的老大(ResourceManager)的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
f.yarn-env.sh
g.vi slaves/master(需新建)
vi master
master
6.配置三台datanode节点
a.复制虚拟机
b.修改ip地址
c.修改主机名及配置文件
----------退出重新登录生效
d.互通验证
e.为节约资源关闭图形用户界面
sudo vi /etc/inittab--------------由5改为3,重启生效.
7.ssh免秘钥登录
a.查看SSH是否安装。
输入命令:rpm -qa | grep ssh
注:若没安装SSH则可输入:yum install openssh-server安装。
sodu apt-get install ssh(ubuntu)
b.生成公钥
安装完成后会在~目录(当前用户主目录,即这里的/home/hadoop)下产生一个隐藏文件夹.ssh(ls -a 可以查看隐藏文件)。如果没有这个文件,自己新建即可(mkdir .ssh)。
具体步骤如下:
1、 进入.ssh文件夹
2、 ssh-keygen -t rsa 之后一路回 车(产生秘钥)
3.cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
c. chmod 600 ~/.ssh/authorized_keys
d.scp ~/.ssh/id_rsa.pub hadoop@192.168.40.102:~/.ssh(以此类推三台都要复制一遍)
生成authorized_keys.
cat id_rsa.pub >> authorized_keys
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
e.ssh互通测试
8.启动
第一次启动得格式化
启动dfs
启动yarn
[b]9.测试[/b]
jps
master
datanode
http://192.168.40.100:50070/dfshealth.html#tab-overview
http://192.168.40.100:8088/cluster
可以看到一切正常。3个节点。
至此我们的4台hadoop运行
主机 ip 账号密码
master 192.168.40.100 -------hadoop/hadoop
weekend001 192.168.40.101 -------hadoop/hadoop
weekend002 192.168.40.102 -------hadoop/hadoop
weekend003 192.168.40.103 -------hadoop/hadoop
安装步骤:
1.将网卡切换至nat模式并设置好网关
设置网段:192.168.40.0 子网掩码:255.255.255.0 -> apply -> ok
2.安装centos6.5
a.关闭防火墙(在root权限下)----------centos6.5
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
/////////////////////////////////补充一点centos7的防火墙关闭方式与centos6.5不同//////////////////////////////////
关闭方法为
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
b.修改ip (建议在图形用户界面下修改)
终端下修改的方法
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="static" ###
HWADDR="00:0C:29:3C:BF:E7"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
IPADDR="192.168.40.100" ###
NETMASK="255.255.255.0" ###
GATEWAY="192.168.40.2" ###--------------------------------请与vmware配置时的输入一一对应上
c.将创建的用户添加到sudoers的列表下
切换到root账户,修改/etc/sudoers文件,增加:hadoop ALL=(ALL) ALL
d.修改/etc/hosts 文件,增加4台机器的ip和hostname的映射关系
e.修改主机名
sudo vi /etc/sysconfig/network--------------------------------每个节点都要修改
sudo hostname master
//即可将主机名改为hadoop
重启生效
3.安装jdk
在hadoop文件夹下创建APP文件夹
mkdir /home/hadoop/app
通过ftp服务器将jdk文件,hadoop文件,eclipse等文件上传至虚拟机.
a. 解压jdktar -zxvf jdk-8u111-linux-x64.tar.gz -C /home/hadoop/app
b.sudo vim /etc/profile
在文件末尾添加
export JAVA_HOME=/home/hadoop/app/jdk1.8.0_111
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
c.刷新
source /etc/profile
d.验证配置
4.安装配置hadoop
a.tar -zvxf hadoop-2.7.3.tar.gz -C /home/hadoop/app
b.sudo vim /etc/profile
在文件末尾添加
export HADOOP_HOME=/home/hadoop/app/hadoop-2.7.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin(修改)
c.刷新配置文件
source /etc/profile
d.验证配置文件
hadoop version
5.修改配置文件(7个)
注意:hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop
配置之前,需要在app本地文件系统创建以下文件夹:
a.hadoop-env.sh
[plain]
view plain
copy
print?
[hadoop@master hadoop]$ echo $JAVA_HOME
/home/hadoop/app/jdk1.8.0_111
[hadoop@master hadoop]$ vi hadoop-env.sh
[hadoop@master hadoop]$ echo $JAVA_HOME /home/hadoop/app/jdk1.8.0_111 [hadoop@master hadoop]$ vi hadoop-env.sh
-----在第25/26行
b.core-site.xml
<code class="hljs xml has-numbering" style="display: block; padding: 0px; background: transparent; color: inherit; box-sizing: border-box; font-family: "Source Code Pro", monospace;font-size:undefined; white-space: pre; border-radius: 0px; word-wrap: normal;"><configuration> <property> <!-- 指定hadoop运行时产生文件的存储目录 --> <name>hadoop.tmp.dir</name> <value>/home/hadoop/tmp</value> </property> <!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>io.file.buffer.size</name> <value>131072</value> </property> </configuration> </code>
c.hdfs-site.xml
[plain]
view plain
copy
print?
<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
<pre name="code" class="plain"><property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/hdfs/data</value>
</property>
<configuration> <!-- 指定HDFS副本的数量 --> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> <pre name="code" class="plain"><property> <name>dfs.namenode.secondary.http-address</name> <value>master:9001</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/hadoop/hdfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/hadoop/hdfs/data</value> </property>
[plain]
view plain
copy
print?
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property>
d.mapred-site.xml
需要重命名: mv mapred-site.xml.template mapred-site.xml
[plain]
view plain
copy
print?
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<pre name="code" class="plain"><property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
<!-- 指定mr运行在yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <pre name="code" class="plain"><property> <name>mapreduce.jobhistory.address</name> <value>master:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master:19888</value> </property>
e.yarn-site.xml
[plain]
view plain
copy
print?
<!-- 指定YARN的老大(ResourceManager)的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的老大(ResourceManager)的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> <!-- reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
f.yarn-env.sh
g.vi slaves/master(需新建)
vi master
master
6.配置三台datanode节点
a.复制虚拟机
b.修改ip地址
c.修改主机名及配置文件
----------退出重新登录生效
d.互通验证
e.为节约资源关闭图形用户界面
sudo vi /etc/inittab--------------由5改为3,重启生效.
7.ssh免秘钥登录
a.查看SSH是否安装。
输入命令:rpm -qa | grep ssh
注:若没安装SSH则可输入:yum install openssh-server安装。
sodu apt-get install ssh(ubuntu)
b.生成公钥
安装完成后会在~目录(当前用户主目录,即这里的/home/hadoop)下产生一个隐藏文件夹.ssh(ls -a 可以查看隐藏文件)。如果没有这个文件,自己新建即可(mkdir .ssh)。
具体步骤如下:
1、 进入.ssh文件夹
2、 ssh-keygen -t rsa 之后一路回 车(产生秘钥)
3.cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
c. chmod 600 ~/.ssh/authorized_keys
d.scp ~/.ssh/id_rsa.pub hadoop@192.168.40.102:~/.ssh(以此类推三台都要复制一遍)
生成authorized_keys.
cat id_rsa.pub >> authorized_keys
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
e.ssh互通测试
8.启动
第一次启动得格式化
hdfs namenode -format或 hadoop namenode -format
启动dfs
start-dfs.sh
启动yarn
start-yarn.sh
[b]9.测试[/b]
jps
master
datanode
http://192.168.40.100:50070/dfshealth.html#tab-overview
http://192.168.40.100:8088/cluster
可以看到一切正常。3个节点。
至此我们的4台hadoop运行
相关文章推荐
- hadoop伪分布式的安装搭建(Hadoop-2.7.3+jdk1.8+centos6.5)
- hadoop伪分布式的安装搭建(Hadoop-2.7.3+jdk1.8+centos6.5)
- 搭建hadoop完全分布式环境,CentOS6.5安装Hadoop2.7.3完整流程
- hadoop2.7.3伪分布式搭建之二------>JDK在Linux虚拟机上的安装
- 搭建hadoop完全分布式环境,CentOS6.5安装Hadoop2.7.3完整流程
- 【Hadoop】hadoop-2.7.3+jdk1.8伪分布式环境安装全过程
- hadoop2.7.3伪分布式搭建之三------>Hadoop2.7.3的安装
- hadoop学习系列1之在ubuntu12.04下搭建伪分布式Hadoop-1.1.1环境并安装eclipse
- Hadoop 2.4.0完全分布式平台搭建、配置、安装
- 完全分布式Hadoop集群的安装搭建和配置(4节点)
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程
- hadoop - hadoop2.6 分布式 - 集群环境搭建 - JDK安装配置和SSH安装配置与免密码登陆(集群中)
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程
- centos7下安装编译并搭建hadoop2.6.0单节点伪分布式集群
- Hadoop2.7.3完全分布式集群搭建和测试
- 分布式集群搭建(hadoop2.6.0+CentOS6.5)
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程~(心血之作啊~~)
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程~(心血之作啊~~)
- hadoop - hadoop2.6 分布式 - 集群环境搭建 - Hadoop 2.6 分布式安装配置与启动
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程