详细Hadoop的安装过程

1、在VMware Workstation中安装了CentOS.把网络连接设置成：仅主机模式：与主机共享的专用网络。

***注意：你宿主机(即：你原来的电脑)中不要把VM中网卡禁用了。***



2、启动Linux系统，建议使用root用户登录这样就可以不用考虑权限不够的问题，节省时间。

      手动配置Linux中的IP地址、网关、子网掩码。首先在cmd中输入命令:ipconfig 查看下宿主机的VMware Network Adapter VMnet1的IP信息。


此时，你打开你Linux系统的网络连接，在IPv4设置中选择手动。配置如下： 其中网关要设置成和宿主机的IP地址一致。


配置完IP地址这些信息后就输入命令：service network restart 重新启动下网络服务，输入命令：ifconfig查看下ip地址信息看是否修改了。

验证方式：分别在Windows下ping Linux的IP  在Linux下ping Windows的IP 看是否ping通。成功后即可下一步。

3、修改主机名，将主机名和IP地址进行绑定

输入命令：hostname 查看当前的主机名

输入命令：vi  /etc/sysconfig/network 按i键进入INSERT模式，修改HOSTNAME=改成你想要的主机名  （这里我修改为：hadoop）

修改完成后，先按Esc 键，然后输入:wq回车即可，保存退出。



输入命令：vi  /etc/hosts 按i键进入INSERT模式，不要修改文件中的内容，在空的地方输入 IP地址  主机名即可，完成后，

先按Esc 键，然后输入:wq回车即可，保存退出。然后输入命令：reboot
重启下。



验证：ping hadoop 看是否ping通.若成功即可下一步。

4、关闭防火墙

关闭防火墙命令：service iptables stop 此时，虽然关闭了防火墙，但是遇到某种情况时，防火墙还是会自动启动的。因此，我们还需要把自动启动防火墙也一并关闭掉。输入关闭防火墙自动启动命令：chkconfig iptables off  

完成后你可以输入命令：chkconfig --list | grep iptables 查看防火墙是否已经全部关闭了。



5、配置SSH(secure shell)免密码登陆

输入命令：ssh-keygen -t rsa 通过rsa算法产生ssh的key，都不用输入密码，一直回车即可。

输入命令：cp ~/.ssh/id_rsa.pub  ~/.ssh/authorized_keys    将产生的key全部复制到authorized_keys中

验证方式：ssh localhost 

6、安装jdk（这里我使用的jdk是：jdk-6u24-linux-i586.bin）

在安装我们的jdk之前需要把系统自带的jdk卸载了。

输入命令：rpm -qa | grep gcj 

显示下面这两条信息

java-1.4.2-gcj-compat-1.4.2.0-27jpp

java.1.4.2-gcj-compat-devel-1.4.2.0-27jpp 

虽然不同版本的Linux下系统自带的jdk也是有差别的，但是卸载方式都是一样。

卸载命令：rpm -e java.1.4.2-gcj-compat-devel-1.4.2.0-27jpp 

  rpm -e java-1.4.2-gcj-compat-1.4.2.0-27jpp

输入 rpm -qa | grep jdk

显示下面这两条信息

java-1.6.0-openjdk-1.6.0.0-1.66.1.13.el6.x86_64

java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64

卸载命令：rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.el6.x86_64

  rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64

下面进行安装jdk

我把jdk放在了/root/downloads目录下，因此，我要先进去到该目录下，把jdk移动到/usr/local目录下输入命令：

mv jdk--6u24-linux-i586.bin /usr/local/

进入到/usr/local目录下，执行解压缩

解压缩jdk命令：./jdk--6u24-linux-i586.bin

由于解完压缩jdk文件的名称太长了，我就重命名为jdk。输入命令：mv jdk 1.6.0_24  jdk 即可。

配置java环境变量：输入命令： vi /etc/profile 在profile文件下添加下面两条信息，不需要修改profile文件中的任何内容

export JAVA_HOME = /usr/local/jdk

export PATH = .:$JAVA_HOME/bin:$PATH

修改完成后，先按Esc 键，然后输入:wq回车即可，保存退出。

输入立即生效的命令：source /etc/profile

验证方式：输入命令：java-version 



 

完成了上面这么多的准备工作，下面终于可以安装hadoop了

我采取的是hadoop伪分布模式安装，你需要有hadoop的包，我的是：hadoop-1.1.2.tar.gz

我把hadoop放在了/root/downloads目录下，因此，我要先进去到该目录下，把hadoop移动到/usr/local目录下输入命令：

mv hadoop-1.1.2.tar.gz /usr/local/

进入到/usr/local目录下，执行解压缩

解压缩hadoop命令：tar -zxvf hadoop-1.1.2.tar.gz

由于解完压缩hadoop文件的名称太长了，我就重命名为hadoop。输入命令：mv
hadoop-1.1.2  hadoop即可。

设置hadoop的环境变量：输入命令：vi /etc/profile 添加下面的信息

   export HADOOP_HOME = /usr/local/hadoop

前面设置的PATH变量是：export PATH = .:$JAVA_HOME/bin:$PATH 修改如下：

  export
PATH = .:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH 

修改hadoop配置文件 在$HADOOP_HOME/conf目录下

第一个是hadoop环境变量脚本文件：hadoop-env.sh

修改第九行的代码，修改如下：export JAVA_HOME = /usr/local/jdk

保存并且关闭，这里设置的是JAVA_HOME，注意去掉前面的“#”。

第二个是hadoop核心配置文件：core-site.xml

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://你的主机名:9000</value>
        <description>change your own hostname</description>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>  
</configuration>

第三个是hdfs配置文件：hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>


第四个MapReduce配置文件：mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>你的主机名:9001</value>
<description>change your own hostname</description>
</property>
</configuration>

修改了以上四个文件后，然后对hadoop进行格式化，输入命令：hadoop namenode -format  注意：多次格式化hadoop会报错，此时，将/usr/local/hadoop/tmp文件夹删除，再格式就可以了。

启动hadoop命令：statr-all.sh

验证命令：jps



就这样hadoop就安装完毕了。这只是在一台虚拟机中安装hadoop而已，你可以多开几个虚拟机，搭建一个hadoop集群也是可以的。