Ubuntu 14.04下 Hadoop3.0-alpha 的安装

前提准备

安装JDK 和 JRE

jdk 安装

网上下载jdk1.7+包

放入/usr/java/jdk1.8.0目录下

在~/.bashrc 文件下添加如下语句

export JAVA_HOME=/usr/java/jdk1.8.0
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

如果后面启动Hadoop的时候还报JAVA_HOME not found 则在/etc/profile 下面添加如下语句：

export JAVA_HOME=/usr/java/jdk1.8.0
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

jre 安装

sudo apt-get install default-jre

ssh 安装

安装命令

sudo apt-get install ssh

copy 秘钥

ssh localhost
exit                           # 退出 ssh localhost
cd ~/.ssh                      # 如果没有该目录，先执行一次ssh localhost
ssh-keygen -t rsa              # 一直按回车就可以
cp id_rsa.pub authorized_keys

开始安装

下载安装包：http://hadoop.apache.org/releases.html（选择binary的安装包，不要选择源文件）

解压之后 进入该目录 执行 bin/hadoop 如果提示你Hadoop的命令的话，恭喜你安装成功！

如果有错的话，请看这篇博文，这是我遇到的错误。

运行example

单节点运行

还是进入Hadoop目录，执行下述命令

mkdir input
cp etc/hadoop/*.xml input
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-alpha2.jar grep input output 'dfs[a-z.]+'
cat output/*

如果有错的话，请看这篇博文，这是我遇到的错误。

伪多节点运行

首先需要明白hdfs系统，hdfs是一个并行的文件系统，我们要多节点运行就需要文件读写都在hdfs文件系统中

格式化文件系统: bin/hdfs dfs -format

启动hdfs系统

sbin/start-dfs.sh

在hdfs中创建文件夹

bin/hdfs dfs -mkdir /user
bin/hdfs dfs -mkdir /user/hadoop
bin/hdfs dfs -mkdir /user/hadoop/input
bin/hdfs dfs -put etc/hadoop/*.xml /user/hadoop/input

执行例子

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-alpha2.jar grep input output 'dfs[a-z.]+'

如果有错的话，请看这篇博文，这是我遇到的错误。