Hadoop配置datanode

配置完成之后才想起来要写个总结，没有办法及时配图，下次配置的时候补上。

配置时参考了 http://blog.csdn.net/hguisu/article/details/7237395 很详细，怒赞加顶。

配置前需要确定本机的ip地址。本人是在ubuntu12.04下配置的，在12.10下配的时候，遇见了文件源数据不全，无法配置ssh的问题，希望有解决该问题的同学提供方法。

配置hadoop的Datanode大概分为3步，配置java，配置ssh，配置hadoop，三个情况。需要再次强调，本文只是针对在已有集群在添加datanode的情况，如果要从namenode开始配置需要参考上面提供的ip。

1.建立用户。

首先需要将namenode里的 /etc/hosts 添加datanode的名称和ip。然后拷贝到datanode下。

远程namenode ssh namenode@ip

scp /etc/hosts datanode@ip /etc/hosts

然后创建用户

sudo useradd -m username // username表示新创建的用户命 -m 表示创建用户并在/home下创建一个与用户命相同的文件夹

passwd username 然后就需要你写密码了

2.创建java环境

如果不知道linux软件包中带的java版本，可以先输入jps查看。

sudo apt-get install openjdk-6-java 这样安装的jdk会存在 /usr下

在之后配置hadoop时，java目录就是 /usr

当然，你也可以安装自己的jdk

3. 配置ssh

可以先尝试用一下命令 sudo apt-get install ssh

如果报找不到 ssh的错误，可以先 sudo apt-get install openssh-client ,然后再 sudo apt-get install openssh-server

之后再sudo apt-get install ssh.

配置完成后，需要将namenode的密匙拷贝到datanode上。

拷贝之前，先要在用户目录下执行 ssh-keygen -r rsa 然后一路回车

然后在namenode的/.ssh目录下将密匙拷贝 scp authorize-key datanode@ip /home/username/.ssh/

配置ssh完成

4.配置hadoop

尽量让自己的hadoop文件路径和namenode相同，这样需要配置改动的地方就会少了很多。

在namenode下，scp -r hadoop datanode@ip /home/username/

如果一切都相同，那么就都ok。本人的java环境和namenode的不同，然后就只修改了java路径。Hadoop的环境变量是在/conf/hadoop-env.sh下配置。

5.启动hadoop

bin/hadoop-daemon.sh start datanode

bin/hadoop-daemon.sh start tasktracer

若出现

15740 Jps

11383 DataNode

13632 TaskTracker

那么配置成功。

配置时的log文件存储在 hadoop/logs下，启动时的错误可以在这里看到。

本人在tasktracker时，出现的问题就是有存放mapper文件的文件夹已经存在，这个文件夹应该是需要在启动时自动生成，这个问题导致tasktracker无法启动。