Hadoop系列之单机版安装

前言
  想要先学习得先搭环境，由于我上个月在公司搭环境的惨痛经历，差点对搭环境留下心理阴影，不过这次竟然出奇的顺利，装完之后自己都感叹了一番。视频里老师使用的是Ubuntu，而我使用的是CentOS，两者大同小异啦，只是有些命令不太一样。（本来我想用Ubuntu的，无奈怎么也不能把主机的文件拷贝到虚拟机里面，折腾了半天还是换成CentOS使用共享文件夹啦）

正题
我们今天要安装的是单机版的Hadoop，所以我的准备是一个虚拟机（linux）。

1.安装ssh（CentOS一般是安装好的，用下面的命令做个检查就好）

    rpm -qa | grep ssh
    如果是Ubuntu则使用sudo apt-get install ssh

2.安装rsync（同1）
    rpm -qa|grep rsync
    如果是Ubuntu则使用sudo apt-get install rsync

3.配置ssh免密码登录
    ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
    cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys
验证是否成功
    ssh localhost

4.配置JDK环境和下载Hadoop 1.0.3

    jdk下载http://pan.baidu.com/s/1CaAwR
   更改jdk权限 chmod 777 jdk-1_5_0_14-linux-i586-rpm.bin
   运行安装jdk ./jdk-1_5_0_14-linux-i586-rpm.bin 
   设置环境变量 vim /etc/profile
   export JAVA_HOME=/usr/java/jdk1.6.0_45
   export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 
   export PATH=$PATH:$JAVA_HOME/bin
   
   Hadoop下载 https://archive.apache.org/dist/hadoop/common/
   我使用的是hadoop-1.0.3-bin.tar
   安装Hadoop tar zxvf hadoop-1.0.3-bin.tar

5.修改Hadoop配置文件，制定JDK安装路径(先找到Java_home路径然后在路径下的conf文件夹下）
    vi conf/hadoop-env.sh
    export JAVA_HOME=/usr/java/jdk1.6.0_45

6.修改Hadoop核心配置文件core-site.xml,配置HDFS的地址和端口号（hadoop-1.0.3/conf默认是空的文件）
    vi conf/core-site.xml
<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

7.修改Hadoop中hdfs的配置，修改replication
    vi conf/hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

8.修改Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口
    vi conf/mapred-site.xml
<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>
</configuration>

9.格式化Hadoop的文件系统HDFS
    bin/hadoop namenode -format

10.启动Hadoop
    bin/start-all.sh

最后，验证Hadoop是否安装成功，打开浏览器，分别输入以下网址： http://localhost:50030    (MapReduce的Web页面） http://localhost:50070    (HDFS的web页面）
如果都能查看，说明安装成功