hadoop 2.9.0 在Ubuntu安装教程
2018-01-06 16:38
375 查看
一、安装准备
1、java 1.8环境,2、Hadoop2.9.0安装文件,下载页面
二、安装步骤
1、配置文件首先配置Hadoop的环境变量,在/etc/profile文件中加上,source /etc/profile使配置文件生效
HADOOP_HOME=/home/hadoop-2.9.0
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
Hadoop的配置文件修改,Hadoop的配置文件都在$HADOOP_HOME/etc/hadoop下
1)配置core-site.xml
<configuration> <!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://10.1.204.22:9000</value> <description>hdfs的访问路径</description> </property> <!-- 指定hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/home/mobvoi/workspace/workspace/hadoop-2.9.0/tmp</value> <description>运行临时文件的主目录</description> </property> </configuration>2)配置hdfs-site.xml
<configuration> <!-- 指定HDFS副本的数量 --> <property> <name>dfs.replication</name> <value>1</value> </property> <!-- <property> <name>dfs.namenode.name.dir</name> <value>/home/hadoop/tmp</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/home/hadoop/tmp</value> </property> --> </configuration>备注:配置文件修改说明:
Hadoop 的运行方式是由配置文件决定的(运行 Hadoop 时会读取配置文件),因此如果需要从伪分布式模式切换回非分布式模式,需要删除 core-site.xml 中的配置项。
此外,伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行(官方教程如此),不过若没有配置 hadoop.tmp.dir 参数,则默认使用的临时目录为 /tmp/hadoo-hadoop,而这个目录在重启时有可能被系统清理掉,导致必须重新执行 format 才行。所以我们进行了设置,同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,否则在接下来的步骤中可能会出错。
刚开始为了简单可以不用配置这两个参数,后面需要了可以再加。
2、格式化namenode
./bin/hdfs namenode –format
成功会提示 :
18/01/06 16:16:41 INFO common.Storage: Storage directory /home/mobvoi/workspace/workspace/hadoop-2.9.0/tmp/dfs/name has been successfully formatted.3、开启namenode和datanode进程
./sbin/start-dfs.sh
启动过程会需要密码,输入三次密码就启动了namenode、datanode和SecondaryNameNode了
启动完之后用jps命令验证启动结果,会看到启动的进程list
21938 Jps 21414 SecondaryNameNode 21193 DataNode 21007 NameNode可以通过浏览器访问http://localhost:50070 查看结果。看到如下结果就说明启动成功了。
4、配置mapred-site.xml
这个文件时没有的,但是Hadoop源文件中已经提供了一个mapred-site.xml.template,可以直接重命名一下就可以了
<configuration> <!-- 指定mr运行在yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
5、配置yarn文件yarn-site.xml
<configuration> <!-- Site specific YARN configuration properties --> <!-- 指定YARN的老大(ResourceManager)的地址 --> <property> <name>yarn.resourcemanager.address</name> <value>10.1.204.22</value> </property> <!-- reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>配置好了以后启动yarn
./sbin/start-yarn.sh
通过jps可以查看启动的进程又多了俩
22962 ResourceManager 23542 Jps 21414 SecondaryNameNode 21193 DataNode 23293 NodeManager 21007 NameNode可以通过浏览器访问http://10.1.204.22:8088/cluster看yarn的管理页面
参考: http://blog.csdn.net/jkxqj/article/details/78739784
相关文章推荐
- Ubuntu 13.10 32位系统安装hadoop-2.2.0教程
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS
- Ubuntu 14.04下Hadoop2.4.1集群安装配置教程
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- Ubuntu 14.04下jdkHadoop2.8集群安装配置教程并运行wordcount实例
- Hadoop安装教程_单机/伪分布式配置_hadoop-2.7.5/Ubuntu14.04
- Ubuntu系统下的Hadoop集群(1)_Hadoop安装教程_单机/伪分布式配置
- 【图文绝对详细】Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.3/Ubuntu16.04
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- Hadoop安装教程_单机/伪分布式配置_Ubuntu 14.04/Hadoop 2.4.1
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- Hadoop安装教程_单机配置_Hadoop1.2.1/Ubuntu16.04
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- Ubuntu系统的Hadoop 安装教程
- Hadoop安装教程_分布式配置_Hadoop2.6.0/Ubuntu14.04
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04