hadoop2.5.x完全分布式集群搭建配置

1:

   1.1前期准备：四台虚拟机，并且到安装好了CentOS系统，JDK,Hadoop安装包

                     以下是我所有的软件：

                       

    1.2：四台机器的任务分配



由于我使用的CentOS是最小化的镜像，所以hostname就是：mini,mini2,mini3,mini4

任务分配好了接下来就开撸。

2.1:

       顺便在这里再说一下最小化安装机器的克隆问题

       机器克隆完成后，以root身份进入

         a: 修改主机名： # vi /etc/sysconfig/network



  

       b:修改ip

         # ifconfig  发现没有IP地址 


# ifconfig -a  



看到有两块网卡，这是因为克隆的时候这台机器上的网卡和源对象一样，因为每块网卡都有它自己的编码，所以原来的那块就不能用了，虚拟机就自动又给它插上了一块新的网卡。
      修改ip

# vi /etc/sysconfig/network-scripts/ifcfg-eth0



将UUID和HWADDR删掉，然后将IPADDR改成自己需要的ip地址。
    # rm -rf  etc/udev/rules.d/70-persistent-net.rules
删除完成之后重启机器即可
# reboot
2.2：CRT连接
为了方便快捷，接下来就是利用CRT进行操作，在连接CRT之前在Windows下配置映射：
修改hosts文件，文件目录为：C:\Windows\System32\drivers\etc\hosts



2.3：
创建一个普通用户hadoop：
[root@mini hadoop]# useradd hadoop

[root@mini hadoop]# passwd hadoop

赋予hadoop用户root的权利：

[root@mini hadoop]# vi /etc/sudoers

修改位置：
## Allow root to run any commands anywhere 

root    ALL=(ALL)       ALL

hadoop  ALL=(ALL)       ALL

配置主机映射：
$ sudo vi /etc/hosts
修改内容：

关闭防火墙：

[hadoop@mini ~]$ sudo service iptables stop
iptables：将链设置为政策 ACCEPT：filter [确定]
iptables：清除防火墙规则：[确定]
iptables：正在卸载模块：[确定]

检查防火墙状态：

[hadoop@mini ~]$ sudo service iptables status
iptables：未运行防火墙。

关闭防火墙的开机自启：

[hadoop@mini ~]$ sudo chkconfig iptables off

创建一个文件夹software用来存放上传的压缩包

[hadoop@mini ~]$ sudo mkdir /opt/software

创建一个文件夹modules用来存放上传的压缩包

[hadoop@mini opt]$ sudo mkdir /opt/modules

[hadoop@mini opt]$ ll
总用量 8
drwxr-xr-x. 2 root root 4096 2月  18 03:09 modules
drwxr-xr-x. 2 root root 4096 2月  18 03:01 software

改变用户这两个文件的所有者

[hadoop@mini opt]$ sudo chown -R hadoop:hadoop modules software
[hadoop@mini opt]$ ll
总用量 8
drwxr-xr-x. 2 hadoop hadoop 4096 2月  18 03:09 modules
drwxr-xr-x. 2 hadoop hadoop 4096 2月  18 03:01 software

  3.1：通过FileZilla上传JDK和hadoop到 /opt/software

[hadoop@mini software]$ ll
总用量 443176
-rw-rw-r--. 1 hadoop hadoop 311430119 2月  18 03:16 hadoop-2.5.0.tar.gz
-rw-rw-r--. 1 hadoop hadoop 142376665 2月  18 03:16 jdk-7u67-linux-x64.tar.gz

3.2.1:解压jdk:

[hadoop@mini software]$ tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules/

3.2.2:配置JAVA_HOME和PATH
查看安装路径：

[hadoop@mini jdk1.7.0_67]$ pwd
/opt/modules/jdk1.7.0_67

3.2.3配置变量：

[hadoop@mini ~]$ sudo vi /etc/profile

         修改内容为：
export JAVA_HOME=/opt/modules/jdk1.7.0_67

         export PATH=$PATH:$JAVA_HOME/bin:

        将以上内容写入到文件的最后。
3.2.4:检查环境是否配置成功：

[root@mini /]# source /etc/profile
[root@mini /]# java -version
java version "1.7.0_67"
Java(TM) SE Runtime Environment (build 1.7.0_67-b01)
Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)

显示JDK版本号表示配置成功。

3.3:安装hadoop
    3.3.1解压hadoop：   

[hadoop@mini software]$ tar -zxvf hadoop-2.5.0.tar.gz -C ../modules/

 3.3.2：删除帮助文档：
由于帮助文档太大，远程拷贝的时候太慢

[hadoop@mini hadoop-2.5.0]$ cd share/
[hadoop@mini share]$ ll
总用量 8
drwxr-xr-x. 3 hadoop hadoop 4096 2月  18 03:35 doc
drwxr-xr-x. 8 hadoop hadoop 4096 8月   7 2014 hadoop
[hadoop@mini share]$ pwd
/opt/modules/hadoop-2.5.0/share
[hadoop@mini share]$ rm -rf doc

3.3.3：配置hadoop的环境变量
配置HADOOP_HOME

[hadoop@mini hadoop-2.5.0]$ pwd
/opt/modules/hadoop-2.5.0
[hadoop@mini hadoop-2.5.0]$ sudo vi /etc/profile

 修改内容如下：

检查是否配置成功：

[root@mini /]# source /etc/profile
[root@mini /]# hadoop
Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:
fs                   run a generic filesystem user client
version              print the version
jar <jar>            run a jar file
checknative [-a|-h]  check native hadoop and compression libraries availability
distcp <srcurl> <desturl> copy file or directories recursively
archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
classpath            prints the class path needed to get the
Hadoop jar and the required libraries
daemonlog            get/set the log level for each daemon
or
CLASSNAME            run the class named CLASSNAME

Most commands print help when invoked w/o parameters.

配置成功
4.1：配置SSH免密登录
   4.1.1：生成秘钥

[hadoop@mini /]$ ssh-keygen

一路回车，生成秘钥
4.1.2：向其他机器（包括自己）发送秘钥

[hadoop@mini /]$ ssh-copy-id  mini

[hadoop@mini /]$ ssh-copy-id  mini3

[hadoop@mini /]$ ssh-copy-id  mini2

[hadoop@mini /]$ ssh-copy-id  mini4

  测试是否成功：

 

ssh mini4

看看是否能登录成功，一次测试其他机器

[hadoop@mini /]$ ssh mini4
Last login: Sat Feb 18 04:40:30 2017 from mini
[hadoop@mini4 ~]$

4.2:远程拷贝JDK和hadoop

今天先到这里。。。。。。
未完待续。。。。。。。