HADOOP单机系统安装

一.安装和配置JDK

1.HADOOP是以JAVA语言写成的，需要预先在本地计算机上安装JDK,由于直接使用wget不能绕过ORACLE的网站验证，可以使用下面代码下载。

wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F;oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u77-b03/jdk-8u77-linux-x64.rpm"

2.将下载的JDK拷贝到所需要安装的目录下。如：/usr/jdk

3.安装JDK

4.配置JAVA_HOME以及CLASS_PATH，vi 进入/etc/profile,在文件最后加上如下语句

export JAVA_HOME=/usr/jdk/jdk1.7.0_71
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME PATH CLASSPATH

保存退出，执行下面命令使配置生效：

source /etc/profile

5.执行下面命令查看当前版本配置是否生效

java -version

二.安装ssh及rsync软件

在ubuntu linux上使用如下命令安装:

sudo apt-get install ssh
sudo apt-get install rsync

在RedHat/CentOS上使用如下命令安装：

sudo yum install ssh
sudo yum install rsync

单机伪分布使用如下命令配置免密码登录

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

使用ssh localhost 命令测试是否还需要密码才能登录，如果不需要密码就可以进入，说明配置成功。

三.安装配置HADOOP

1.下载Hadoop稳定版并解压

wget http://mirrors.cnnic.cn/apache/hadoop/core/hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz tar -xzvf hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz

2.配置hadoop环境

切换到hadoop安装路径找到hadoop-1.2.1下的conf/hadoop-env.sh文件，使用vi打开。

vi ./hadoop-env.sh
<!--在文件中添加下面语句--!>
export JAVA_HOME=/usr/java/jdk1.6.0

配置conf/core-site.xml conf/hdfs-site.xml conf/mapred-site.xml

打开conf/core-site.xml文件，编辑如下：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

打开conf/hdfs-site.xml文件，编辑如下：

<configuration>
<property>
<name>dfs.name.dir</name>
<value>/usr/local/Hadoop/datalog1,/usr/local/hadoop/datalog2</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

打开conf/mapred-site.xml文件，编辑如下：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

建议将HADOOP的bin目录配置到PATH环境变量

PATH="$PATH":你的hadoop的bin目录路径

四：启动和停止HADOOP

1.格式化分布式文件系统HDFS

hadoop namenode -front

2.启动hadoop环境

start-all.sh

3.停止hadoop运行

stop-all.sh

4.运行测试程序

hadoop jar $HADOOP_HOME/hadoop-examples-1.2.1.jar \

5.查看集群状态

jps