ubuntu下安装hadoop(单机模式)

参考了官网和一些博客的资料，终于安装成功hadoop on ubuntu。

步骤及注意事项：

1.软件准备：

1）ubuntu10.10 内核2.6.35

2）安装ssh，其实是openSSH，默认ubuntu已经安装了，但是不能ssh localhost登录本机，重装ssh即可。

$ apt-get install ssh

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

$ ssh localhost

SSHD要一直启动着

3）jdk的安装此处不表

4）下载安装Hadoop：我用的是0.21.0,下载解压，放在了/opt/hadoop目录下

2.配置环境变量，

1）在/etc/profile文件中加入

export HADOOP_HOME=/root/hadoop/hadoop-0.20.1

export JAVA_HOME=/usr/java/jdk1.6.0_18

export JRE_HOME=/usr/java/jdk1.6.0_18/jre

export PATH=$PATH:$HADOOP_HOME/bin

执行 $ source /etc/profile

2）在/opt/hadoop/hadoop-0.21.0/conf修改hadoop-env.sh,只需修改

JAVA_HOME=/usr/lib/jvm/java-6-sun

3.设定
hadoop配置文件

/opt/hadoop/conf/core-site.xml
，要先在hadoop文件夹下新建tmp文件夹

<configuration> <property>
<name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop/tmp</value> </property></configuration>

•編輯
/opt/hadoop/conf/hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

•編輯 /opt/hadoop/conf/mapred-site.xml

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

</configuration>

4.格式化HDFS

•以上我们已经设定好 Hadoop 单机测试的环境，接着让我们来启动 Hadoop 相关服务，格式化 namenode， secondarynamenode, tasktracker

•$ cd /opt/hadoop/hadoop-0.20.0

•$ source /opt/hadoop/hadoop-0.20.0/conf/hadoop-env.sh

•$ hadoop namenode -format

5.执行

$ start-all.sh



jobtracker



namenode



----------------

真分布模式下tips：

.配置SSH免密码登陆

3.1每台服务器上运行：

$ssh-keygen-tdsa -P'' -f ~/.ssh/id_dsa

$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys

3.2把各台服务器的~/.ssh/authorized_keys文件内容合并到一个总的authorized_keys文件；

3.3把那个总的authorized_keys文件scp到每台服务器，替换原有的authorized_keys文件；

3.4互相SSH对方机器，确认SSH登陆不需要密码

在Ubuntu客户端通过ssh登录服务器。假设服务器的IP地址是192.168.0.103，登录的用户名是hyx。

$ ssh -l hyx 192.168.0.103，我们已经免密码，直接enter进入...