hadoop集群搭建过程-简版

ubuntu 12.04 hadoop 2.x

网络配置

配置静态ip

/etc/network/interfaces

修改机器名称，即DNS服务器信息

/etc/hosts

以上的目的是使用ping 机器名称 可以通

SSH无密码配置

NameNode是通过SSH（Secure Shell）来启动和停止各个DataNode上的各种守护进程的

原理是：master 上生成一个密钥对，将公钥拷贝到slave, 当master请求给slave时，slave会生成一个随机数，并使用公钥对随机数进行加密再发送给master，然后master使用私钥对其解密，然后把解密结果发给slave，slave确认无误时就可以连接了

命令：

ssh-keygen –t rsa –P ''

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/authorized_keys

ssh设置

启动 ssh验证

/etc/ssh/sshd_config

最后一步,拷贝id_rsa.pub 到slave

这样就可以

ssh ip/机器名

远程登陆机器了

安装jdk

安装hadoop

接下来是hadoop的配置了。

hadoop-env.sh 配置java home

core-site.xml 临时目录 hdfs端口号

hdfs-site.xml hdfs备份方式

mapred-site.xml jobtracker的地址和端口

masters文件 填入master机器ip即可

slaves文件 master机器特有。填入所有slave机器ip

启动验证

hadoop namenode -format 一次即可，格式化的结果在core-site.xml临时文件中

start-all.sh

jps

master namenode secondenamenode jobtracker

slave datanode tasktracker

这样就表示成功了。