Hadoop系列－－Hadoop基本架构之MapReduce架构

1 MapReduce架构的组件组成

1.1 组件组成

　　Hadoop的MapReduce架构主要由以下几个组件组成：Client、JobTracker、TaskTracker、Task。

1.2 MapReduce架构图

　　如下图所示。

　　

2 各组件详解

1.Client

　　用户编写的MapReduce程序通过Client提交到JobTracker。

2.JobTracker

　　参照上图。

　　JobTracker主要负责资源监控和作业调度。

　　

　　JobTracker监控所有TaskTracker与作业的健康状况；

　　

　　同时，JobTracker会跟踪任务的执行进度、资源使用量等信息，并将这些信息告诉调度器；

　　调度器在资源出现空闲时选择合适的任务使用这些资源。另外，在Hadoop中，任务调度器是一个可插拔的模块，用户可以根据自己的需要设计相应的调度器。

3.TaskTracker

　　参照上图。

　　TaskTracker1通过Heartbeat将本节点上资源的使用情况和任务的运行进度汇报给JobTracker，2同时接收JobTracker发送过来的命令并执行相应的操作，例如启动或终止任务。

4.Task

　　参照上图。

　　Task分为Map Task和Reduce Task两种，均由TaskTracker启动。

3 Map/Reduce执行流程详解

3.1 Map Task执行流程

　　如下图所示。

　　1.Map Task先将对应的split迭代解析成一个个key/value对；

　　2.一次调用用户定义的map()函数进行处理；

　　3.并将临时结果存放到本地磁盘上，其中临时数据被分成若干个partition，每个partition将被一个Reduce Task处理。

　　

3.2 Reduce Task执行流程

　　如下图所示。

　　1.从远程节点上读取Map Task中间结果，即为”Shuffle阶段”；

　　2.按照key对key/value对进行排序，即为”Sort阶段”；

　　3.以此读取key/value，调用用户的reduce()函数处理，并将最终结果存放到HDFS上，即为”Reduce阶段”。