Hadoop简介

Hadoop简介
Hadoop是使用Java编写，允许分布在集群，使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 Hadoop框架应用工程提供跨计算机集群的分布式存储和计算的环境。 Hadoop是专为从单一服务器到上千台机器扩展，每个机器都可以提供本地计算和存储。
hadoop2.9.0暂时是个不成熟的版本，建议使用先前的稳定版本hadoop2.8.0

hadoop安装部署的三种模式：
(1)Local (Standalone) Mode 本地模式（又称单机模式）：hadoop的默认配置模式
1)hadoop使用本地文件系统而非分布式文件系统(HDFS)。
2)不会启动任何hadoop守护进程，map任务和reduce任务作为同一个进程的不同部分来执行。
3)仅用于开发或调试MapReduce应用程序。
4)当首次解压hadoop的源码包时，默认选择了最低的配置。这时，三个xml文件均为空，当配置文件为空时，hadoop会完全运行在本地。

(2)Pseudo-Distributed Mode 伪分布式模式
1)所有的进程都运行在同一台机器上。
2)使用分布式文件系统，每个hadoop守护进程都是一个独立的进程。
3)每个job都是由JobTracker服务管理的独立的进程。
4)集群中只有一个节点，故HDFS的块复制将限制为单个副本。
5)secondary-master和slaves也都将运行于本地主机。
6)程序的执行逻辑和分布式模式下的执行逻辑一样，因此，常用于测试。
7)该模式在本地模式的基础上添加了代码的调试功能，允许你检查内存的使用情况、HDFS输入输出、其它的守护进程的交互。
8)伪分布式模式也需要配置SSH无密码本机连接本机

(3)Fully-Distributed Mode 完全分布式模式
多个节点组成的hadoop集群，NameNode和DataNode节点分开.