hadoop-2.3.0-cdh5.1.0伪分布安装（基于centos）

一、环境

操作系统：CentOS6.5

64

位操作系统

注：Hadoop2.0以上采用的是jdk环境是1.7,Linux自带的jdk卸载掉，重新安装

下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html

软件版本：hadoop-2.3.0-cdh5.1.0.tar.gz,zookeeper-3.4.5-cdh5.1.0.tar.gz

下载地址：http://archive.cloudera.com/cdh5/cdh/5/

开始安装：

二、jdk安装

1、检查是否自带jdk

rpm-qa|grepjdk

java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686

2、卸载自带jdk

yum-yremovejava-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686

或：

rpm-e--nodepsjava-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64

3、安装jdk-7u55-linux-x64.tar.gz

在usr/目录下创建文件夹java,在java文件夹下运行tar–zxvfjdk-7u55-linux-x64.tar.gz

解压到java目录下

[root@master01java]#ls

jdk1.7.0_55

三、配置环境变量

运行vim/etc/profile

#/etc/profile

#Systemwideenvironmentandstartupprograms,forloginsetup

#Functionsandaliasesgoin/etc/bashrc

exportJAVA_HOME=/usr/java/jdk1.7.0_55
exportJRE_HOME=/usr/java/jdk1.7.0_55/jre
exportCLASSPATH=/usr/java/jdk1.7.0_55/lib
exportPATH=$JAVA_HOME/bin:$PATH

保存修改，运行source/etc/profile重新加载环境变量

运行java-version

[root@master01java]#java-version

javaversion"1.7.0_55"

Java(TM)SERuntimeEnvironment(build1.7.0_55-b13)

JavaHotSpot(TM)64-BitServerVM(build24.55-b03,mixedmode)

Jdk配置成功

四、系统配置

1、关闭防火墙

chkconfigiptablesoff(永久性关闭)

配置主机名和hosts文件

2、SSH无密码验证配置

因为Hadoop运行过程需要远程管理Hadoop的守护进程，NameNode节点需要通过SSH（SecureShell）链接各个DataNode节点，停止或启动他们的进程，所以SSH必须是没有密码的，所以我们要把NameNode节点和DataNode节点配制成无秘密通信，同理DataNode也需要配置无密码链接NameNode节点。

在每一台机器上配置：

vi/etc/ssh/sshd_config打开

RSAAuthenticationyes#启用RSA认证，PubkeyAuthenticationyes#启用公钥私钥配对认证方式

Master01:运行：ssh-keygen-trsa-P''不输入密码直接enter

默认存放在／root／.ssh目录下,

cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys

[root@master01.ssh]#ls

authorized_keysid_rsaid_rsa.pubknown_hosts

如果不是root用户安装(本例默认root用户安装)，需要放开权限，执行以下命令：

chmod755.ssh
chmod600~/.ssh/authorized_keys

五、hadoop伪分布式配置

5.1编辑文件：etc/hadoop/hadoop-env.sh（注：JAVA_HOME如果有值就用自己的JAVA_HOME替代）

#settotherootofyourJavainstallation
exportJAVA_HOME=/usr/java/latest

#Assumingyourinstallationdirectoryis/usr/local/hadoop
exportHADOOP_PREFIX=/usr/local/hadoop

5.2增加hadoop环境变量

exportHADOOP_HOME=/usr/local/cdh/hadoop

5.3

编辑文件etc/hadoop/core-site.xml:

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

编辑etc/hadoop/hdfs-site.xml（/usr/local/cdh/hadoop/data/dfs/name目录一定要手工创建再格式化，不然出错）

<configuration>
<property>
<!--开启webhdfs-->
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/cdh/hadoop/data/dfs/name</value>
<description>namenode存放nametable(fsimage)本地目录（需要修改）</description>
</property>
<property>
<name>dfs.namenode.edits.dir</name>
<value>${dfs.namenode.name.dir}</value>
<description>namenode粗放transactionfile(edits)本地目录（需要修改）</description>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/cdh/hadoop/data/dfs/data</value>
<description>datanode存放block本地目录（需要修改）</description>
</property>
</configuration>

编辑：etc/hadoop/mapred-site.xml:

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

编辑：etc/hadoop/yarn-site.xml:

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

六：启动及验证安装是否成功

格式化：要先格式化HDFS:

bin/hdfsnamenode-format

启动：

sbin/start-dfs.sh

sbin/start-yarn.sh

查看进程：jps

7448ResourceManager

8277SecondaryNameNode

7547NodeManager

8079DataNode

7975NameNode

8401Jps

1.打开浏览器
NameNode-http://localhost:50070/2.创建文件夹
3.$bin/hdfsdfs-mkdir/user
$bin/hdfsdfs-mkdir/user/<username>
4.Copy文件
$bin/hdfsdfs-putetc/hadoopinput
5.运行作业
$bin/hadoopjarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.3.0-cdh5.1.0.jargrepinputoutput'dfs[a-z.]+'
6.查看输出
$bin/hdfsdfs-getoutputoutput
$catoutput/*