安装hadoop1.2.1集群环境

一、规划

1、硬件资源

ip6:centos-node6
ip7:centos-node7
ip8:centos-node8

2、基本资料

创建目录

/home/hadoop1.2.1

二、环境配置

1、修改/etc/hosts

ip6:centos-node6
ip7:centos-node7
ip8:centos-node8

2、免密码登录

生成私钥【3台机器上均要执行】

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

生成免密码登陆文件【3台机器上均要执行】

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

然后，将id_dsa.pub拷贝到 centos-node7，centos-node8
的~/root/目录下

scp ~/.ssh/id_dsa.pub root@centos-node7:~/root
scp ~/.ssh/id_dsa.pub root@centos-node8:~/root

将id_dsa.pub重写到 authorized_keys 在当前/root/目录下执行命令：

cat id_dsa.pub >> ~/.ssh/authorized_keys

测试登陆 ssh centos-node7,centos-node8

三、hadoop配置

1、下载hadoop-1.2.1.tar.gz，并将其解压到/home/hadoop1.1.2下

修改conf/hadoop_env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_79

修改core-site.xml

//NameNode访问路径
<property>
<name>fs.default.name</name>
<value>hdfs://centos-node6:9000</value>
</property>

//工作目录
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/tmp/hadoop</value>
</property>

修改hdfs-site.xml

//DataNode节点数
<property>
<name>dfs.replication</name>
<value>2</value>
</property>

//工作目录权限
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

修改mapred-site.xml

<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>

修改master及slaves

//配置SecondaryNameNode
master:
centos-node7

//配置DataNode
slaves:
centos-node7
centos-node8

解压hadoop-1.2.1.tar.gz，到centos-node7与centos-node8中，在centos-node6中，把hadoop-1.2.1/conf/配置完成所有文件,拷贝到到centos-node7与centos-node8中hadoop-1.2.1/conf/中，hadoop-1.1.2/conf/当前目录下 执行命令：

scp ./* root@centos-node7:/usr/local/hadoop-1.1.2/conf/

四、启动并验证

格式 化namenode【此步骤在centos-node6台机器运行】

1、/home/hadoop1.2.1/bin/~ ./hadoop nodename -format

2、启动hadoop【此步骤只需要在centos-node6上执行】

3、/home/hadoop1.2.1/bin/~ start-all.sh

4、查看各个主机的java进程

在centos-node6上执行命令：jps

在centos-node7上执行命令：jps

在centos-node8上执行命令：jps

5、登录页面验证

NameNode    http://centos-node6:50070 //JobTracker     http://centos-node6:50030[/code] 


hadoop1.2.1集群环境 配置完成。

五、MapReduce的架构配置

MapReduce的架构，一主多从架构


主JobTracker:

负责调度分配每一个任务task运行于TaskTracker上，如果发现有失败的task就重新分配其任务到其它节点，每一个hadoop

集群中只有一个JobTracker，一般它运行在Master节点上，

从TaskTracker：

TaskTracker主动与JobTracker通信，接受作业，并负责执行每一个任务，为了减少网络宽带TaskTracker最好运行在HDFS的DataNode上

1、修改conf/mapred-site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>centos-node6:9001</value>
</property>
</configuration>


拷贝mapred-site.xml 到centos-node7与centos-node8上的hadoo/conf 目录下，是配置文件保持一致

2、启动hadoop

./start-all.sh




3、MapReduce Web客户端页面验证

http://centos-node6:50030




MapReduce的架构配置