hadoop1集群搭建

1.准备好三台装好jdk的虚拟机。

2.三台虚拟机都要修改hosts文件，vi /etc/hosts



3.修改完之后重启使其生效。reboot

4.创建hadoop用户组，创建Hadoop用户并添加到Hadoop用户组，切换到Hadoop用户。



5.设置SSH无秘钥访问：

（1）在master机器上hadoop用户根目录下执行命令：ssh-keygen -t rsa 连续回车三次；



（2）进入.ssh目录会看到生成了id_rsa id_rsa.pub两个文件，创建authorized_keys文件并将id_rsa.pub拷贝到authorized_keys文件里。



（3）在slave1跟slave2机器上进行第一步，并将生成的id_rsa.pub远程拷贝到master机器的authorized_keys文件中。





（4）这时候authorized_keys里就有了三台机器的公钥，此时只需要把authorized_keys文件远程拷贝到slave1跟slave2的/home/hadoop/.ssh目录下，三台机器就可以实现无秘钥访问了。





6.把hadoop包上传到hadoop用户目录下并解压：tar -zxf hadoop-1.2.1.tar.gz

7.进入hadoop的conf目录修改配置文件：core-site.xml （tmp目录需要shoud）



8.修改配置文件：hdfs-site.xml （dfs.replication数据副本数<=salve机器数，这里有两个slave所以可以设置成2）



9.修改配置文件：mapred-site.xml



10.在配置文件：hadoop-env.sh 配置JAVA_HOME



11.在配置文件master里加入master



12.在配置文件slaves里加入slave机器列表



13.将整个conf配置文件全部拷贝给其他节点机器：



14进入bin目录，.第一次启动hadoop集群需要进行namenode格式化：



15.启动hadoop集群：sh start-all.sh并用jps查看启动情况







16.在浏览器输入192.168.0.88:50070跟192.168.0.88:50030查看集群；





至此hadoop集群搭建完毕！