hadoop安装之-hadoop

一、hadoop的三种安装模式

1，单机模式

解压源码包后不用更改配置文件，就可以运行，主要用于开发调试MapReduce程序的应用逻辑。

2，伪分布式

伪分布式和完全分布式的区别仅仅是物理机的个数，步骤基本一致。

3，完全分布式

完全分布式需要在每台机器上安装hadoop以组成分布式存储、计算环境。

二、完全分布式安装

1，环境：

三台centOS 6.5，hadoop 2.6，jdk 7，

2，master机器的host文件

192.168.189.20 master

192.168.189.21 slave1

192.168.189.22 slave2

3，master机器安装jdk

路径为/usr/local/jdk，

4，配置JDK环境变量

vim /ect/profile，

在最后增加

# set jdk

export JAVA_HOME=/usr/local/jdk/

export JRE_HOME=/usr/local/jdk/jre

export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

然后使用sudo source /ect/profile使之生效

5，配置SSH

参考《多台计算机之间利用ssh实现无密码登录 》

6，解压hadoop-2.6.0.tar.gz文件

路径为/usr/local/hadoop

7，配置hadoop环境变量

#set hadoop

export HADOOP_HOME=/usr/local/hadoop

export PATH=$PATH:$HADOOP_HOME/bin

8，编辑hadoop参数

(1) 进入/usr/local/hadoop/etc/hadoop目录中，编辑hadoop-env.sh文件，使用vim hadoop-env.sh，修改内容如下：

export JAVA_HOME=/usr/local/jdk

(2) 编辑yarn-env.sh vim yarn-env.sh，修改内容如下：

JAVA_HOME=/usr/local/jdk

(3) 编辑core-site.xml

<property>

<name>fs.default.name</name>

<value>hdfs://master:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/tmp</value>

</property>(4) 编辑hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>/usr/local/hadoop/nddir</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/usr/local/hadoop/dddir</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

(5) 编辑mapred-site.xml（需要复制mapred-site.xml.template，并命名为mapred-site.xml）

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapred.job.tracker</name>

<value>http://192.168.189.20:9001</value>

</property>

</configuration>

(6) 编辑yarn-site.xml文件

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

<name>Yarn.nodemanager.aux-services</name>

<value>mapreduce.shuffle</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>192.168.189.20:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>192.168.189.20:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>192.168.189.20:8031</value>

(7) 编辑slaves文件（只需填入datanode机器的IP）

192.168.189.21

192.168.189.22

9，复制hadoop到另外两个节点，使用的命令是：

scp -r /usr/local/hadoop
hadoop@192.168.189.21:/usr/local/hadoop

scp -r /usr/local/hadoop
hadoop@192.168.189.22:/usr/local/hadoop

10，在master节点格式化hdfs文件

[hadoop@master hadoop]$ ./bin/hdfs namenode -format

11，启动hadoop

[hadoop@master hadoop]$ ./sbin/start-all.sh

12，namenode和datanode上使用/usr/local/jdk/bin/jps查看节点状态
http://sys1:50070/dfshealth.html查看节点状态
13，关闭hadoop

[hadoop@master hadoop]$ ./sbin/stop-all.sh