hadoop集群搭建(二)——集群环境配置

团队力量让我们站在云端！

真的感觉团队的力量太强大了，整个集群配置能够顺利进行，完全是靠大家合作才能完成。我们确实有很多不明白的地方，但是我们的每一个人都敢于探索，敢于去实践，敢于去做各种尝试，最终的结果就是我们克服了各种困难完成了云端的搭建！

好了进入正题，假设每台机器都按照前一篇所属配置好了hadoop环境，那么接下来开始配置集群环境。

集群配置分为以下几个步骤：

1、
修改机器的IP地址等信息

2、
配置namenode的hosts文件；

3、
配置namenode的masters和slaves文件；

4、
配置namenode的core-site、mapred-site、hdfs-site文件；

5、
远程拷贝（可选操作）上述文件给所有的slaves；

6、
在namenode上生成公钥，远程拷贝公钥给所有的slaves，slaves上将公钥添加到授权文件；

7、s
laves ssh连接master；

8、d
ata结点启动datanode和tasktracker,name结点启动所有的data结点；

一、
修改机器IP；

这里我们总共准备了十台机器，依次将机器的IP地址改为192.168.1.2-192.168.1.11
选定11号机器为namenode,10号机器作为secondarynamenode；

二、
配置namenode的hosts文件；

sudo gedit /etc/hosts

修改文件如下：

127.0.0.1
localhost

127.0.1.1
ubuntu.ubuntu-domain ubuntu

192.168.1.11 master

192.168.1.7 s7

192.168.1.4 s4

192.168.1.2 s2

192.168.1.3 s3

192.168.1.5 s5

192.168.1.6 s6

192.168.1.8 s8

192.168.1.9 s9

192.168.1.10 s10

# The following lines are desirable for IPv6 capable hosts

::1     ip6-localhost ip6-loopback

fe00::0 ip6-localnet

ff00::0 ip6-mcastprefix

ff02::1 ip6-allnodes

ff02::2 ip6-allrouters

三、
配置namenode的masters和slaves文件

cd /usr/local/hadoop

sudo gedit conf/masters

修改如下：

master

sudo gedit conf/slaves

s2

s3

S4

s5

S6

S7

S8

S9

这里配置的masters和slaves文件只是作为一种映射关系，将对应的名称映射到hosts文件中的IP;

四、
配置namenode的core-site、mapred-site、hdfs-site文件
  

sudo gedit conf/core-site.xml

1
<configuration>  

2
<property>  

3
  <name>fs.

default
.name</name>  

4
  <value>hdfs://
master
:9000</value>   

5
</property>  

6
<property>  

7
  <name>dfs.replication</name>   

8
  <value>1</value>   

9
</property>  

10
<property>  

参数详解：第一个属性表示namenode的主机和端口，第二个属性表示hdfs中文件备份个数。

  

sudo gedit conf/mapred-site.xml

1
<configuration>  

2
 
<property>   

3
 
   
<name>mapred.job.tracker</name>  

4
 
    
<value>
master
:9001</value>   

5
 
</property>  

6
</configuration> 

   参数详解：JobTracker的主机和端口;

    sudo geidt conf/hdfs-site.xml
 

1
<property>
 

2
   
<name>
dfs.name.dir

</name>
 

3
   
<value>
/home/hadoop/hdfs/name

</value>
 

4
</property>
 

5
 

6
<property>
 

7
   
<name>
dfs.data.dir

</name>
 

8
   
<value>
/home/hadoop/hdfs/data

</value>
 

9
</property>
 

    参数详解：第一个属性表示

NameNode
持久存储名字空间及事务日志的本地文件系统路径。
    第二个属性表示

DataNode
存放块数据的本地文件系统路径
。

 

五、远程拷贝（可选操作）slaves上的文件给master；
    scp /etc/hosts hadoop@s2:/etc/hosts
    .
    .
    .
    scp conf/core-site.xml hadoop@s2:/usr/local/hadoop/conf/core-site.xml
    .
    .
    scp conf/mapred-site.xml hadoop@s2:/usr/local/hadoop/conf/mapred-site.xml
    .
    .
    scp conf/hdfs-site.xml hadoop@s2:/usr/local/hadoop/conf/hdfs-site.xml
    .
    data结点上修改master文件同name结点，经过实践我们发现data结点作为slave，slaves文件其实不用修改。

六、
在namenode上生成公钥，远程拷贝公钥给所有的slaves，slaves上将公钥添加到授权文件;
    1.
生成公钥：
ssh-keygen -t dsa -P "" -f ~/.ssh/id_
r
sa

    2.
远程拷贝：
scp  ~/.ssh/id_rsa.pub hadoop@master  ~/.ssh/   

    3.
data结点上添加到收信任列表：
cat  ~/.ssh/id_rsa.pub >>  ~/.ssh/authorizedkeys

七、
datanode ssh连接namenode

ssh master

八、
配置SecondaryNamenode(
号外！ )

    修改masters
文件，改为 s10

    修改hdfs-site.xml
文件
     <property>

          <name>dfs.http.address</name>

          <value>
192.168.1.11
:50070</value> >

    </property>

九、data结点启动datanode和tasktracker,name结点启动所有的data结点

      
namenode启动之前做一次 block
负载均衡
     sudo gedit  conf/hdfs-site.xml

    
<property>

                <name>dfs.balance.bandwidthPerSec</name>

                <value>10485760</value>

                <description>

                       Specifies the maximum bandwidth that each datanode can utilize for the balancing purpose in

                      
term of the number of bytes per second.

                 </description>

    
</property>

     bin/start-balancer.sh

     在新的结点上启动datanode

  bin/hadoop-daemon.sh start datanode

     启动tasktracker

    
bin/hadoop-daemon.sh start tasktracker

     启动SecondaryNameNode

  bin/hadoop-daemon.sh start SecoondaryNameNode
     启动namenode

  bin/start-dfs.sh

    
 
    连接时可以在namenode上查看连接情况:
      bin/hadoop dfsadmin -report

    运行测试和单机版基本步骤一致，参见前文！

    好了配置完毕！由于是新手，还有N
多问题没有理解，敬请各位大牛指点！不过此文还会经过修改，敬请期待！
<!--EndFragment-->