hadoop-1.2.1集群-2014.5

目录

一.规划 ............................................................................................................................................. 2

二、操作步骤： ............................................................................................................................... 3

1.添加网络........................................................................................................................................ 3

2.复制6 个centos ............................................................................................................................ 3

3.更改网段,hostname,IP 地址 ......................................................................................................... 4

4.切换hadoop 用户更改和复制host 映射 .................................................................................... 6

5.在主节点上配置SSH 免登陆，复制到其他5 个节点 ................................................................ 8

6.在主节点更改conf 配置文件，复制到其他5 个节点 ............................................................... 9

7.format 后，start-all.sh 测试启动 ................................................................................................ 11

三.上传文件到分布式系统中，完成mapreduce，查看数据块 ................................................. 14

一.规划

构建6节点集群，其中主节点，secondarynamenode,jobTracker分别为独立的3个主机，从节点3个。

主机名	配置	IP	NetMask	GateWay
Mnode(主节点namenode)	2G，30G+20*3G	192.168.179.10	255.255.255.0	192.168.179.254
Snode(secondarynamenode)	2G，30G+20*3G	192.168.179.11	255.255.255.0	192.168.179.254
JTnode(jobtracker)	2G，30G+20*3G	192.168.179.12	255.255.255.0	192.168.179.254
Slave1(从节点)	2G，30G+20*3G	192.168.179.101	255.255.255.0	192.168.179.254
Slave2(从节点)	2G，30G+20*3G	192.168.179.102	255.255.255.0	192.168.179.254
Slave3(从节点)	2G，30G+20*3G	192.168.179.103	255.255.255.0	192.168.179.254

1.添加一个网络

2.复制6个centos主机

3.更改hostname,更改IP地址

4.使用CRT连接，切换hadoop用户，在主节点更改hosts映射，复制到其他5个节点

5.在主节点上配置SSH免登陆，复制到其他5个节点

6.在主节点更改conf配置文件，复制到其他5个节点

7.format后，start-all.sh测试启动

9.hadoop命令练习

10.在eclipse中编辑hadoop源文件，完成练习

二、操作步骤：

1.添加网络

2.复制6个centos（注意使用链接克隆，节省空间和时间）

z

3.更改网段,hostname,IP地址 //选择vmnet16

vi/etc/udev/rules.d/70-persistent-net.rules

//注释掉原eth0,将eth1改为eth0,复制原eth1 MAC地址

vi/etc/sysconfig/network-scripts/ifcfg-eth0 //更改IP地址、MAC地址 注意DHCP设置

service networkstart //重启网络服务，如果失败可以重启系统

vi /etc/sysconfig/network //更改hostname

重启后检查

vi /etc/sysconfig/network //更改hostname

4.切换hadoop用户更改和复制host映射

//使用CRT连接，切换hadoop用户，在主节点更改hosts映射，复制到其他5个节点

vi /etc/hosts

scp /etc/hosts 192.168.179.11:/etc/

scp /etc/hosts 192.168.179.12:/etc/

scp /etc/hosts 192.168.179.101:/etc/

scp /etc/hosts 192.168.179.102:/etc/

scp /etc/hosts 192.168.179.103:/etc/

5.在主节点上配置SSH免登陆，复制到其他5个节点

cd/home/hadoop
ssh-keygen -trsa
cd .ssh
cat id_rsa.pub> authorized_keys
scpauthorized_keys Slave1:/home/hadoop/.ssh/ //克隆鉴权
scpauthorized_keys Slave2:/home/hadoop/.ssh/
scpauthorized_keys Slave3:/home/hadoop/.ssh/
配置ssh免登陆

克隆ssh免登陆到其他节点

6.在主节点更改conf配置文件，复制到其他5个节点

vihadoop-env.sh

export JAVA_HOME=/usr/local/java7 //在文件中增加java路径

vicore-site.xml //加入主节点主机名，也可以是IP地址

scp -r /hadoop/hadoop-1.2.1 Snode:/hadoop/

scp -r /hadoop/hadoop-1.2.1 JTnode:/hadoop/

scp -r /hadoop/hadoop-1.2.1 Slave1:/hadoop/

scp -r /hadoop/hadoop-1.2.1 Slave2:/hadoop/

scp -r /hadoop/hadoop-1.2.1 Slave3:/hadoop/

vihdfs-site.xml //将value值改为2或3

vimapred-site.xml //添加jobtracker

vimasters //添加secondarynode主节点

vislaves //添加从节点

克隆到其他节点

scp -r /hadoop/hadoop-1.2.1 Snode:/hadoop/

7.format后，start-all.sh测试启动

[hadoop@Mnodebin]$ ./hadoop namenode -format

./start-all.sh

启动服务并查看

发现jobtrackersecondnamenode都没有起来

Jobtracker无法启动解决方案 ：

dfs与mapred需要分开启动

dfs需要namenode启动

mapred需要jobtracker启动

I:给三台slave节点分配jobtracker免登陆认证

cat id_rsa.pub > authorized_keys2

scp authorized_keys2 Slave1:/home/hadoop/.ssh/

scp authorized_keys2 Slave2:/home/hadoop/.ssh/

scp authorized_keys2 Slave3:/home/hadoop/.ssh/

II:使用namenode启动dfs

./start-dfs.sh

III:使用jobtracker启动mapred

./start-mapred.sh

测试结果如下：启动正常

ps:如果发现datanode有问题可以删除/hadoop/data目录，重新format后再测试

三.上传文件到分布式系统中，完成mapreduce，查看数据块

bin/hadoop fs-put LICENSE1.txt /lic/testCC1.txt
/hadoop/hadoop-1.2.1/bin/hadoopjar hadoop-examples-1.2.1.jar wordcount /lic /lic_res

bin/hadoopfsck /lic/testCC1.txt-blocks

查看数据块