Hadoop的伪分布式搭建

我们在搭建伪分布式Hadoop环境，需要将一系列的配置文件配置好。

一、配置文件

1. 配置文件hadoop-env.sh

export JAVA_HOME=/opt/modules/jdk1.7.0_67

2. 配置core-site.xml

dfs.defaultFS

hdfs://hostname:8020

hadoop.tmp.dir

/opt/modules/hadoop-2.5.0/data/tmp

配置hdfs-site.xml

dfs.replication

3

配置yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

配置mapred-site.xml

mapreduce.framework.name

yarn

二、启动HDFS

1，格式化NameNode

bin/hdfs namenode -format

2，启动NameNode

bin/hadoop.daemon.sh start namenode

3，启动DataNode

bin/hadoop.daemon.sh start datanode

4，HDFS的WEB监控页面：

http://hostname:50070

5，启动SecondaryNameNode

bin/hadoop.daemon.sh start secondarynamenode

6，SecondaryNameNode的WEB监控页面：

http://hostname:50090

三、日志文件

启动每个守护进程会产生两个log文件，文件路径为$HADOOP_HOME/logs目录下，文件的格式为【.log】和【.out】

.log：log4j记录，记录大部分应用程序的日志信息

.out：记录标准输出和标准错误日志，少量记录

日志的命名规则：【框架名+用户名+进程名+主机名+日志格式】

四、启动YARN

1，启动ResourceManager

bin/yarn-daemon.sh start resourcemanager

2，启动NodeManager

bin/yarn-daemon.sh start nodemanager

3，YARN的WEB监控界面：

http://hostname:8088 resourcemanager

http”//hostname:8042 nodemanager

五、历史服务器

1，启动历史服务器

bin/mr-jobhistory-daemon.sh start historyserver

2，历史服务器监控界面

http://hostname:19888