hadoop1集群环境搭建

           一直以来都没有将自己的一些知识以文档的形式记录下来，时间长了容易淡忘。在此以文档的方式记录，当做归纳总结，方便阅读查看。

    

       假设集群中已经安装好jdk和实现了集群间的免密码登http://blog.csdn.net/ls386239766/article/details/38169259

      

       集群环境：hadoop0、hadoop1、hadoop2

       hadoop版本：hadoop-1.1.2.tar.gz

       1.将hadoop安装在目录/mnt/soft下，执行命令：tar -xzvf hadoop-1.1.2.tar.gz。解压后的文件夹hadoop-1.1.2，将该文件夹重命名为hadoop。执行命令 mv hadoop-1.12 hadoop

       2.修改配置文件：hdfs-site.xml、core-site.xml、mapred-site.xml、hadoop-env.sh、slaves、masters

           hdfs-site.xml

<property>

  <name>dfs.http.address</name>

  <value>0.0.0.0:50070</value>

</property>

<property>

  <name>dfs.secondary.http.address</name>

  <value>0.0.0.0:0</value>

</property>

<property>

  <name>dfs.datanode.address</name>

  <value>0.0.0.0:0</value>

</property>

<property>

  <name>dfs.datanode.ipc.address</name>

  <value>0.0.0.0:0</value>

</property>

<property>

  <name>dfs.datanode.http.address</name>

  <value>0.0.0.0:0</value>

</property>

<property>

  <name>dfs.replication</name>     <!-- 副本数-->

  <value>3</value>

</property>

<property>

   <name>dfs.permissions</name>

   <value>false</value>

</property>

core-site.xml：
<property>

     <name>fs.default.name</name>         

     <value>hdfs://hadoop0:9000</value>

        <description>change your own hostname</description>         

    </property>

    <property>

     <name>hadoop.tmp.dir</name>

     <value>/mnt/soft/hadoop/tmp</value>   

    </property>

mapred-site.xml：
<property>       

  <name>mapred.job.tracker</name>            

  <value>http://hadoop2:9001</value>

 </property>

 <property>

  <name>mapred.job.tracker.http.address</name>

  <value>0.0.0.0:50030</value>

 </property>

 <property>

  <name>mapred.task.tracker.http.address</name>

  <value>0.0.0.0:0</value>

 </property>

hadoop-env.sh:
该文件中修改JAVA_HOMEN为jdk安装路径 export JAVA_HOME=/usr/local/jdk1.6


masters:secondNameNode节点位置。此处设置的为hadoop1
slaves：从节点位置。设置的为hadoop1、hadoop2

       3.将hadoop0中目录/mnt/soft/hadoop 文件夹复制到hadoop1、hadoop2中。
          在hadoop0中执行命令：
scp rq /mnt/soft/hadoop  hadoop1:/mnt/soft
          在hadoop0中执行命令：
scp rq /mnt/soft/hadoop  hadoop2:/mnt/soft

       4.在hadoop0中配置环境变量，并复制到hadoop1、hadoop2中。
          在hadoop0中执行命令： vi /root/.bashrc
          进入vi编辑窗口后配置环境变量：
         


          复制到hadoop1、hadoop2中。
          hadoop0上执行命令 scp /root/.bashrc hadoop1:/root/.bashrc
          hadoop0上执行命令 scp /root/.bashrc hadoop2:/root/.bashrc

        

          5.格式化，在hadoop0上执行命令：hadoop namenode -format   

          
          6.启动集群：
             hadoop0上执行 start-all.sh
             hadoop2上执行 hadoop-daemons.sh start jobtracker
     
             hadoop0、hadoop1、hadoop2上的进程：