Hadoop单机版和伪分布式部署

摘要: Hadoop的部署方式分为三种：单机模式、伪分布式模式、完全分布式模式

说明：本文的hadoop安装环境为Ubuntu环境。

运行Hadoop集群的准备工作

1. 安装JDK,配置Java环境

2. SSH免登录(这一步可以忽略，但是启动hadoop的时候，需要手动为每个节点服务输入密码)

先确认能否不输入口令就用SSH登录localhost:

$ ssh localhost

如果没有安装SSH服务，则安装SSH

$ sudo apt-get install openssh-server    -----安装SSH

实现SSH免登录

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3. 解压所下载的Hadoop发行版。编辑 etc/hadoop/hadoop-env.sh文件，配置JAVA_HOME环境。

export JAVA_HOME=/home/mango/jdk/jdk1.8.0_45

4.尝试如下命令，将会显示hadoop 脚本的使用文档。

$ ./bin/hadoop

现在你可以用以下三种支持的模式中的一种启动Hadoop集群：

单机模式

伪分布式模式

完全分布式模式(后续补充)

单机模式的操作方法

默认情况下，Hadoop被配置成以非分布式模式运行的一个独立Java进程。这对调试非常有帮助。

下面的实例将已解压的 conf 目录拷贝作为输入，查找并显示匹配给定正则表达式的条目。输出写入到指定的output目录。

$ mkdir input
$ cp conf/*.xml input
$ ./bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
$ cat output/*

伪分布式模式的操作方法

Hadoop可以在单节点上以所谓的伪分布式模式运行，此时每一个Hadoop守护进程都作为一个独立的Java进程运行。

启动HDFS服务

1. 配置etc/hadoop/core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:8200</value>
</property>
</configuration>

2. 配置etc/hadoop/hdfs-site.xml（副本数为1）

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

3. 配置etc/hadoop/slaves文件，设置datanode为localhost

localhost

4. 格式化HDFS文件系统

$ ./bin/hadoop namenode -format

5. 启动hdfs服务

$ ./sbin/start-dfs.sh

6. 通过jps命令确认启动成功(也可以通过http://localhost:50070页面确认)

$ jps
10178 SecondaryNameNode
9923 DataNode
9706 NameNode
15439 Jps

启动Yarn服务

1.配置etc/hadoop/mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

2. 配置etc/hadoop/mapred-yarn.xml

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

3. 启动Yarn服务

$ ./sbin/start-yarn.sh

４.通过ｊｐｓ命令查看结果(也可以通过http://localhost:8088确认启动成功)

$ jps
14849 NodeManager
10178 SecondaryNameNode
9923 DataNode
14647 ResourceManager
9706 NameNode
15439 Jps

说明：Hadoop守护进程的日志写入到 ${HADOOP_LOG_DIR} 目录 (默认是 ${HADOOP_HOME}/logs).