Spark的Stage划分和task最佳位置算法

一、Stage的划分原理

1.Spark Application中可以因为不同的Action触发众多的job，一个Application中可以有很多的job，每个job是由一个或者多个Stage构成的，后面的Stage依赖于前面的Stage，也就是说只有前面依赖的Stage计算完毕后，后面的Stage才会运行。

2.Stage划分的依据就是宽依赖，何时产生宽依赖，例如reduceByKey,groupByKey的算子，会导致宽依赖的产生。

3.由Action（例如collect）导致了SparkContext.runJob的执行，最终导致了DAGScheduler中的submitJob的执行，其核心是通过发送一个case class JobSubmitted对象给eventProcessLoop。

eventProcessLoop是DAGSchedulerEventProcessLoop的具体实例，而DAGSchedulerEventProcessLoop是eventLoop的子类，具体实现EventLoop的onReceive方法，onReceive方法转过来回调doOnReceive

4.在doOnReceive中通过模式匹配的方法把执行路由到

5.在handleJobSubmitted中首先创建finalStage，创建finalStage时候会建立父Stage的依赖链条

说明：

1.所谓的missing就是说要进行当前的计算了。

二、task任务本地性算法实现

1.在submitMissingTasks中会通过调用来获得任务的本地性

2.具体一个Partition中的数据本地性的，在具体算法实现的时候首先查询DAGScheduler的内存数据结构是否存在当前的Partition的数据本地性的信息，如果有的话，则直接返回，如果没有首先会调用rdd.getPreferedLocations

例如：

向让Spark运行在HBase上或者一种现在还没直接支持的数据库上，此时开发者需要自定义RDD，为了保证Task任务数据的本地性，就必须实现RDD的getPreferedLocations

3.DAGScheduler计算数据本地性的时候，巧妙的借助了RDD自身的getPreferedLocations中的数据，最大化的优化了效率，因为getPreferedLocations中表明了每个Partition的数据本地性，虽然当前Partition可能被persist或者checkpoint，但是persist或者checkpoint默认情况下肯定是和getPeredLocations中的Partition的数据本地性是一致的，所以这就极大的简化了Task数据本地性算法的实现和效率的优化。