Hadoop Shuffle运行原理

Shuffle

hadoop的核心思想是MapReduce,而MapReduce的核心思想又是Shuffle。shuffle的主要工作是从Map结束到Reduce开始之间的过程，所以了解shuffle的运行原理也是必要的阶段。首先来看下面一张图。



shuffle阶段又可以分为Map端的shuffle和Reduce端的shuffle。

Map阶段的Shuffle

1、map端（有多个map，这里只详细说一个map）首先领取某个切片任务（大量的切片任务存在不同的电脑中），map将数据读入到环形缓冲区（buffer in memory）,用于存储任务的输出，环形缓冲区的默认大小是100M(io.sort.mb属性)，一旦达到阈值0.8（io.sort.spill.percent）,一个后台线程把内容写到(spill)磁盘的指定目录（mapred.local.dir）下的新建的一个溢出写文件。写磁盘前，要partition,sort。如果有combiner，combine排序后数据。等最后记录写完，合并全部溢出写文件为一个分区且排序的文件。

2、在spill写入之前，会先进行二次排序，首先根据数据所属的partition进行排序，然后每个partition中的数据再按key来排序。如果key是Text类型，按照字典顺序，如果k2是long类型，按照自然顺序排序，如果是自定义的对象，就按照自定义的规则进行排序。partition的目是将记录划分到不同的Reducer上去，以期望能够达到负载均衡，以后的Reducer就会根据partition来读取自己对应的数据。接着运行combiner(如果设置了的话)，combiner的本质也是一个Reducer，其目的是对将要写入到磁盘上的文件先进行一次处理，这样，写入到磁盘的数据量就会减少。最后将数据写到本地磁盘产生spill文件(spill文件保存在{mapred.local.dir}指定的目录中，Map任务结束后就会被删除)。

3、最后，每个Map任务可能产生多个spill文件（如图中产生单个spill文件，第一个是达到阈值0.8后产生的一个spill文件，第二个是当map读取切片速度过快，导致环形缓冲区阻塞，此时，map暂时停止读数据，直到环形缓冲区的数据全部写到另一个spill文件中后重新读取数据，此过程可能会产生多个spill文件，第三个是map阶段数据读取完成后，又重新将环形缓冲区中的数据写到另一个spill文件中），在每个Map任务完成前，会通过多路归并算法将这些spill文件归并成一个文件。至此，Map的shuffle过程就结束了。

Reduce阶段的Shuffle

1、Reduce端的shuffle主要包括三个阶段，copy、sort(merge)和reduce。

2、首先要将Map端产生的输出文件拷贝到Reduce端，但每个Reducer如何知道自己应该处理哪些数据呢？因为Map端进行partition的时候，实际上就相当于指定了每个Reducer要处理的数据(partition就对应了Reducer，Reducer通过Http方式得到输出文件的分区)，所以Reducer在拷贝数据的时候只需拷贝与自己对应的partition中的数据即可。每个Reducer会处理一个或者多个partition，但需要先将自己对应的partition中的数据从每个Map的输出结果中拷贝过来。

3、接下来就是sort阶段，也成为merge阶段，因为这个阶段的主要工作是执行了归并排序。从Map端拷贝到Reduce端1的数据都是有序的，所以很适合归并排序。最终在Reduce端生成一个较大的文件作为Reduce的输入。

4、最后就是Reduce过程了，在这个过程中产生了最终的输出结果，并将其写到HDFS上。

hadoop1.0



在hadoop1.0中，MapReduce的上级是JobTracker,既要分配资源，又要监控所有的任务(map 和reduce运行在哪台机器上)。压力过大，( hadoop2.0将 JobTracker功能进行拆分，资源的分配交给ResourceManange

任务的监控交给appMaster.)

下属的进程名称叫做TaskTracker. 通过心跳机制领取任务。

在上图中，左边两个棕色为map任务，右边黄色为reduce任务，一个TaskTracker可以有多个Child。当map完成时，输出的是分区后的文件，（比如0-1024字节是0号分区，1025-2048字节是2号分区等等），map任务完成后，会通知他的上级TaskTracker并告诉这种映射的关系，TaskTracker会通过RPC通信将通知及映射管理告诉JobTracker,同理，中间的map任务同样如此，右边的reduce会定时越权向JobTracker询问（通过RPC获取这种映射机制）。最后，reduce通过http方式得到输出文件的分区。

hadoop2.0



与hadoop1.0不同的是当map任务完成时，YarnChild并不是向他的上级NodeManager通知，而是，通过RPC通知MrAppMaster,在这里MrAppMaster与hadoop1.0中的JobTracker功能相当。