hadoop学习之ubuntu下hadoop0.20.2安装

耶稣爱你！

小弟才疏学浅，今年刚刚大四，下年开始读研究生，以后可能要主要学习云计算。于是打算提前的学习一下当下热门的云计算技术。之前小弟一直在学校实验室做一些j2ee方向的开发，所以选择hadoop开始学习。闲话少说，简单介绍一下自己在ubuntu下安装hadoop的方法。

一、ubunt安装

出于自己刚刚接触hadoop，并不太熟悉hadoop，所以自己在Vmware上安装了ubuntu 12.04。

二、java环境配置

在hadoop wiki中写到Hadoop requires Java 1.6+. It is built and tested on Oracle (nee Sun) Java, which is the only "supported" JVM. 为防止由于软件间的不兼容性问题我选择安装了1.6.0_21。

1、新建jdk6文件夹

dashuai@dashuai-virtual-machine:~/soft$ mkdir jdk6

2、安装 jdk-6u21-linux-i586.bin

dashuai@dashuai-virtual-machine:~/soft$ sudo chmod +x ./jdk6/jdk-6u21-linux-i586.bin (增加执行属性)

dashuai@dashuai-virtual-machine:~/soft$ ./jdk6/jdk-6u21-linux-i586.bin (运行)

3、配置环境变量

dashuai@dashuai-virtual-machine:~/soft$ vi /etc/profile

在最后一行依次添加

export JAVA_HOME=/home/dashuai/soft/jdk6/jdk1.6.0_21

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

4、重启terminal

检验是否安装成功

dashuai@dashuai-virtual-machine:~$ java -version

若输出如下信息则安装成功

java version "1.6.0_21"

Java(TM) SE Runtime Environment (build 1.6.0_21-b07)

Java HotSpot(TM) Client VM (build 17.0-b17, mixed mode, sharing)

三、配置ubuntu ssh免密码登录

我电脑之前已经配置过，此处不在叙述 可参考http://blog.sina.com.cn/s/blog_76fbd24d01017je7.html

四、hadoop安装

1、下载hadoop 0.20.2版 http://archive.apache.org/dist/hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz
2、安装hadoop 0.20.2

dashuai@dashuai-virtual-machine:~/soft$ mkdir hadoop

dashuai@dashuai-virtual-machine:~/soft/hadoop$ tar -xzvf hadoop-0.20.2.tar.gz

3、配置hadoop

依次修改下列文件
conf/core-site.xml:

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

conf/hdfs-site.xml:

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

conf/mapred-site.xml:

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

</configuration>

3、格式化hdfs

dashuai@dashuai-virtual-machine:~/soft/hadoop/hadoop-0.20.2$ ./bin/hadoop namenode -format

4、启动hadoop

dashuai@dashuai-virtual-machine:~/soft/hadoop/hadoop-0.20.2$ ./bin/start-all.sh

在浏览器中输入http://localhost:50030/ 检验是否安装成功