centOS6.3下的hadoop2.x基本配置（本地模式和伪分布式模式）

本文章仅为作者笔记

一.安装JDK，不会请自行百度。(记得配置完使用 source /etc/profile 使配置生效)

二.解压hadoop.2.5.2.tar.gz包 —> tar -zxf hadoop.2.5.2.tar.gz 。解压后的包放在 /home/hadoop/hadoop/hadoop下 名为hadoop.2.5.2的文件夹

三.开始配置hadoop。

hadoop所有需要配置的文件都在hadoop.2.5.2/etc/hadoop文件夹下

1.配置hadoop-env.sh

使用echo ${JAVA_HOME} 命令查看安装的jdk的路径将其替换到红框中





现在可以启动hadoop了。hadoop有三种模式：本机模式、伪分布式模式、分布式模式。

本机模式：

mkdir input

cp etc/hadoop/*.xml

input目录下的xml文件



执行mapreduce自带的一个程序：

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar grep input output ‘dfs[a-z.]+’

然后会生成一个output文件夹，在output文件夹里会有一个文件



如果为SUCCESS则成功.

在运行个小程序测试一下：

创建一个wcinput文件夹，在这个文件夹里创建一个文件，写入字符



然后对这个文件进行处理

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcount wcinput wcoutput

结果会输出到当前目录下的wcoutput文件夹下（即命令中的wcinput是输入目录，wcoutput是输出目录）



“hadoop”字符出现了4次 “yarn”字符出现了2次，其余出现了1次.

四.关于HDFS的配置

HDFS的配置有两个配置文件（core-site.xml 和 hdfs-site.xml）

利用hostname命令查看本机



1.core-site.xml



将主机名称copy到标签中（注意：前缀hdfs://不能省，8020为端口号，第二个标签是修改它的默认配置,hadoop.tmp.dir是hadoop运行时的一个临时目录，图中的data/tmp目录自己创建）

2.配置hdfs-site.xml



因为是伪分布式，所以标签中值为1

接下来执行格式化命令 bin/hdfs namenode -format

下图为格式化成功！



3.启动namenode

sbin/hadoop-daemon.sh start namenode

启动datanode

sbin/hadoop-daemon.sh start datanode

用jps命令查看启动是否成功



浏览器查看web界面：主机名+50070端口(http://localhost.localdomain:50070/)



点击界面中的Utilities–>browse the file system查看文件系统

创建目录：bin/hdfs dfs -mkdir -p /user/hads/

查看目录：bin/hdfs dfs -ls -R/

跑一个小程序测试一下

新创建一个目录：bin/hdfs dfs -mkdir -p /user/hads/mapreduce/wordcount/input

上传文件：bin/hdfs dfs -put wcinput/wc.input /user/hads/mapreduce/wordcount/input

处理该文件：bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcount /user/hads/mapreduce/wordcount/input/ /user/hads/mapreduce/wordcount/output/

五.配置yarn(单节点安装)

1.配置yarn-env.sh



2.配置yarn-site.xml(第一个为修改默认配置)



3.启动yarn：sbin/yarn-daemon.sh start resourcemanager

sbin/yarn-daemon.sh start nodemanager

使用jps命令查看启动是否成功



使用浏览器访问web页面：http://localhost.localdomain:8088/

六.将mapreduce运行yarn上

1.配置maperd-env.sh



2.配置maperd-site.xml(即将maperd-site.xml.template重命名为maperd-site.xml)



运行一个小程序测试一下(先删除之前输出的数据bin/hdfs dfs -rm -R /user/hads/mapreduce/wordcount/output)

处理文件命令：bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcount /user/hads/mapreduce/wordcount/input/ /user/hads/mapreduce/wordcount/output/