安装hadoop集群(三台REDHAT虚拟机)
2017-02-16 15:46
741 查看
环境:
现在已经配置好了三台linux虚拟服务器,分别是:
192.168.116.10 REDONE(namenode)
192.168.116.11 REDTWO(datanode)
192.168.116.12 REDTHREE(datanode)
首先登陆一台节点,以root权限登录。
1、下载
去hadoop官网上(http://hadoop.apache.org/)下载合适的hadoop版本。我选择的是比较新的2.5.2版本。文件名为hadoop-2.5.2.tar.gz,下载文件上传到/hadoop/下(三个服务器都要上传),切换到该目录下,解压:
tar -zvxf hadoop-2.5.2.tar.gz
core-site.xml
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
<description>Abase for other temporarydirectories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.116.10:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
hdfs-site.xml
<property>
<name>dfs.nameservices</name>
<value>hadoop-cluster1</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>192.168.116.10:50090</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobtracker.http.address</name>
<value>192.168.116.10:50030</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>192.168.116.10:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>192.168.116.10:19888</value>
</property>
yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>192.168.116.10:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>192.168.116.10:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>192.168.116.10:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>192.168.116.10:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>192.168.116.10:8088</value>
</property>
hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_111
注:两个从服务器也要按上面修改各个配置文件,可直接用scp命令将主服务器${HADOOP_HOME}/etc/hadoop/目录覆盖从服务器相应目录
scp -r hadoop/
root@192.168.116.11:/hadoop/hadoop-2.5.2/etc/
scp -r hadoop/
root@192.168.116.12:/hadoop/hadoop-2.5.2/etc/
bin/hdfs datanode –format
修改etc/hosts文件,添加映射
192.168.116.11 datanode1
192.168.116.12 datanode2
sbin/start-dfs.sh
sbin/start-yarn.sh
停止
sbin/stop-dfs.sh
sbin/stop-yarn.sh
在NameNode的hadoop-2.5.2/sbin目录下,执行命令启动HDFS DataNode
./hadoop-d
4000
aemons.sh start datanode
接着执行命令启动NodeManager
./yarn-daemons.sh start nodemanager
也可以单独启动NameNode节点,命令如下:
./hadoop-daemon.sh start namenode
./yarn-daemon.sh start resourcemanager
上述四个命令都可以指定--config参数,后面跟hadoop的集群配置文件所在目录(即$HADOOP_HOME/etc/hadoop),大家可通过参数-h查看命令帮助信息
注意:上面命令不会影响已经启动的hdfs或yarn服务,只会把丢失节点的服务启动起来。
http://192.168.116.10:8088/
现在已经配置好了三台linux虚拟服务器,分别是:
192.168.116.10 REDONE(namenode)
192.168.116.11 REDTWO(datanode)
192.168.116.12 REDTHREE(datanode)
首先登陆一台节点,以root权限登录。
1、下载
去hadoop官网上(http://hadoop.apache.org/)下载合适的hadoop版本。我选择的是比较新的2.5.2版本。文件名为hadoop-2.5.2.tar.gz,下载文件上传到/hadoop/下(三个服务器都要上传),切换到该目录下,解压:
tar -zvxf hadoop-2.5.2.tar.gz
2、配置
主服务器(192.168.116.10)进入配置目录:cdhadoop-2.5.2/etc/hadoopcore-site.xml
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
<description>Abase for other temporarydirectories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.116.10:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
hdfs-site.xml
<property>
<name>dfs.nameservices</name>
<value>hadoop-cluster1</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>192.168.116.10:50090</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobtracker.http.address</name>
<value>192.168.116.10:50030</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>192.168.116.10:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>192.168.116.10:19888</value>
</property>
yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>192.168.116.10:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>192.168.116.10:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>192.168.116.10:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>192.168.116.10:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>192.168.116.10:8088</value>
</property>
hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_111
注:两个从服务器也要按上面修改各个配置文件,可直接用scp命令将主服务器${HADOOP_HOME}/etc/hadoop/目录覆盖从服务器相应目录
scp -r hadoop/
root@192.168.116.11:/hadoop/hadoop-2.5.2/etc/
scp -r hadoop/
root@192.168.116.12:/hadoop/hadoop-2.5.2/etc/
3、格式化文件系统
bin/hdfs namenode –formatbin/hdfs datanode –format
修改etc/hosts文件,添加映射
192.168.116.11 datanode1
192.168.116.12 datanode2
4、启动和停止服务
启动sbin/start-dfs.sh
sbin/start-yarn.sh
停止
sbin/stop-dfs.sh
sbin/stop-yarn.sh
5、查看启动的进程
jps6、单独重启丢失的DataNode节点
如果某个DataNode节点Dead(由于死机或人为原因等),可以在不重启整个Hadoop服务的情况下进行单独重启。方法如下:在NameNode的hadoop-2.5.2/sbin目录下,执行命令启动HDFS DataNode
./hadoop-d
4000
aemons.sh start datanode
接着执行命令启动NodeManager
./yarn-daemons.sh start nodemanager
也可以单独启动NameNode节点,命令如下:
./hadoop-daemon.sh start namenode
./yarn-daemon.sh start resourcemanager
上述四个命令都可以指定--config参数,后面跟hadoop的集群配置文件所在目录(即$HADOOP_HOME/etc/hadoop),大家可通过参数-h查看命令帮助信息
注意:上面命令不会影响已经启动的hdfs或yarn服务,只会把丢失节点的服务启动起来。
三、通过浏览器访问
http://192.168.116.10:50070/http://192.168.116.10:8088/
相关文章推荐
- 配置文件、虚拟机-如何使用vagrant在虚拟机安装hadoop集群-by小雨
- 图文讲解基于centos虚拟机的Hadoop集群安装,并且使用Mahout实现贝叶斯分类实例 (2)
- 轻松搭建hadoop1.2.1集群前奏--虚拟机安装与配置
- hadoop2.7.2集群搭建之虚拟机安装
- 虚拟机安装的三台Ubuntu系统下搭建Hadoop过程记录
- 虚拟机VirtualBox 中 ubuntu13.04 安装Hadoop 集群
- 完全分布式hadoop集群安装之二:linux虚拟机安装及管理(centos 6.0 32位)
- 轻松搭建hadoop1.2.1集群前奏--虚拟机安装与配置
- 详细版在虚拟机安装和使用hadoop分布式集群
- hadoop1.2.1集群安装(虚拟机和主机ubuntu12.04构成)----连接eclipse
- 如何使用vagrant在虚拟机安装hadoop集群
- 图文讲解基于centos虚拟机的Hadoop集群安装,并且使用Mahout实现贝叶斯分类实例 (4)
- 虚拟机 CentOS6.6 hadoop2.6.0 集群安装
- vmware10上三台虚拟机的Hadoop2.5.1集群搭建
- 图文讲解基于centos虚拟机的Hadoop集群安装,并且使用Mahout实现贝叶斯分类实例 (1)
- 图文讲解基于centos虚拟机的Hadoop集群安装,并且使用Mahout实现贝叶斯分类实例 (6)
- hadoop大集群实施--比较实用的思路(设备选型、是否使用虚拟机、快速部署安装、自动复制节点等)
- 联想ThinkPad S3-S440虚拟机安装,ubuntu安装,Hadoop(2.7.1)详解及WordCount运行,spark集群搭建
- 【Hadoop】8、基于虚拟机的Hadoop1.2.1完全分布式集群安装
- Redhat上Hadoop2.6.0集群安装