hadoop部署过程学习总结

最近公司开始研究hadoop，组织了一个小组来研究，以下是部署过程的总结。

一、部署准备：需要用到VmWare、Centos 

Hadoop 支持 windows 和 Linux，但在 windows 上仅测试过此软件可运行，并未用于生

产实践， 而大量的实践证明，在 Linux 环境下使用 hadoop 则更加稳定高效。 本节使用 Linux

较成熟的发行版 CentOS 部署 hadoop，需注意的是新装系统 （CentOS）的机器不可以直接部

署 hadoop，需做些设置后才可部署， 这些设置主要为：修改机器名，添加域名映射，关闭防

火墙，安装 jdk。

二、环境准备

（1）修改机器名

su - root

vim /etc/sysconfig/network

HOSTNAME=cMaster（自己定）

reboot（重启后才会生效）

（2）添加域名映射

vi /etc/hosts

192.168.1.100   cMaster

（3）关闭防火墙

chkconfig --level 35 iptables off 

（4）安装 jdk

rpm -ivh /home/joe/jdk-7u40-linux-x64.rpm

下载地址：

添加环境变量：

vi /etc/profile

JAVA_HOME=/usr/java/jdk1.7.0_40

PATH=$JAVA_HOME:$PATH

source /etc/profile（使修改后立即生效）

（5）生成登陆密钥

#切换 Hadoop 用户下

su hadoop

cd /home/hadoop/

#生成公钥和私钥

ssh-keygen -q -t rsa -N "" -f /home/hadoop/.ssh/id_rsa

cd .ssh

cat id_rsa.pub > authorized_keys

chmod go-wx authorized_keys

#公钥:复制文件内容 id_rsa.pub 到 authorized_keys

#集群环境 id_ras_pub 复制到 node1:/home/hadoop/.ssh/authorized_keys

#检查

ll -a /home/hadoop/.ssh/

三、部署（传统解压包部署）

（1）下载hadoop2.2.0包下载地址：

解压：

tar –zxvf /home/joe/hadoop-2.2.0.tar.gz   

（2）编辑文件“/home/joe/hadoop-2.2.0/etc/hadoop/hadoop-env.sh”

export JAVA_HOME=/usr/java/jdk1.7.0_40

这里的“/usr/java/jdk1.7.0_40”就是 jdk 安装位置

（3）编辑文件 “/home/joe/hadoop-2.2.0/etc/hadoop/core-site.xml” 并将如下内容嵌入到
此文件里 configuration 标签间（红色字体替换成自己的用户名）

<property><name>hadoop.tmp.dir</name><value>/home/joe/cloudData</value></property>
<property><name>fs.defaultFS</name><value>hdfs://cMaster:8020</value></property>

（4）编辑文件 “/home/joe/hadoop-2.2.0/etc/hadoop/yarn-site.xml”， 并将如下内容嵌入到此文件
里 configuration 标签间

<property><name>yarn.resourcemanager.hostname</name><value>cMaster</value></property>
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>

（5）将文件“/home/joe/hadoop-2.2.0/etc/hadoop/mapred-site.xml.template ”重命名为
“/home/joe/hadoop-2.2.0/etc/hadoop/mapred-site.xml”，接着编辑此文件并将如下内容嵌入到
此文件的 configuration 标签间

<property><name>mapreduce.framework.name</name><value>yarn</value></property>

（6）启动 hadoop（启动前在主节点 cMaster 上格式化主节点命名空间）

hadoop-2.2.0/bin/hdfs namenode -format（多次format会出问题）

（7） 在主节点 cMaster 上启动存储主服务 namenode 和资源管理主服务 resourceManager

hadoop-2.2.0/sbin/hadoop-daemon.sh start namenode 

hadoop-2.2.0/sbin/yarn-daemon.sh start resourcemanager

在从节点上启动存储从服务 datanode 和资源管理从服务 nodemanager

hadoop-2.2.0/sbin/hadoop-daemon.sh start datanode

hadoop-2.2.0/sbin/yarn-daemon.sh start nodemanager

（8）验证

命令 jps：会显示以下的进程

浏览器地址栏输入以下地址：

cMaster:8088：可在 web 界面看到 hdfs 相关信息。

cMaster:50070：可在 web 界面看到 yarn 相关信息。