Spark作业的Stage划分，Task创建分发一直到提交给Spark的Executor的线程池执行全过程

本文是Spark提交作业到Task执行的宏观概括图

作业提交流程：

提交作业之后(省略SparkSubmit的分析不走) -> 反射创建mainClass  -> 初始化SparkContext -> 使用sparkContext创建RDD -> 执行count算子runJob(runJob是SparkContext中的)方法触发作业->调用sparkContext中dagScheduler的runJob方法->调用dagScheduler的submitJob方法完成提交，返回一个waiter对象！

接下来查看一下dagScheduler的submitJob方法做了什么：

1：dagScheduler的submitJob方法中给eventProcessLoop发送JobSubmitted消息(eventProcessLoop是dagScheduler的一个消息处理器) 

2：在eventProcessLoop中将JobSubmitted消息转发给dagScheduler的doOnReceive方法进行模式匹配处理

3： 调用dagScheduler的handleJobSubmitted方法(在handleJobSubmitted方法中完成Stage的划分)

4：调用dagScheduler的submitMissingTasks或submitStage方法提交Stage(submitMissingTasks和submitStage方法区别：由于递归提交Stage，需要最先提交父Stage，如果当前Stage还有父Stage的话调用submitStage进行递归提交，知道当前Stage没有父Stage时候调用submitMissingTasks提交)

5：在submitMissingTasks中将Stage信息广播出去(Stage信息主要是：Satge的RDD信息)，然后将Stage序列化为Task(这里面有两种Stage分别是ShuffleMapStage和ResultStage，Task也是两种ShuffleMapTask和ResultTask)

6：调用TaskScheduler(实现类一般是TaskSchedulerImpl)的submitTasks方法为序列化好的TaskSet的创建TaskSetManager(TaskSetManager负责调用跟踪Task等)，然后存储到schedulableBuilder(schedulableBuilder是一种资源分配策略,FIFO或FAIR),然后调用backend的reviveOffers方法进行资源分配(CoarseGrainedSchedulerBackend是 backend的一种实现,此处以CoarseGrainedSchedulerBackend为例分析)

7：调用的reviveOffers方法，此时给Driver发ReviveOffers消息申请资源

8： DriverEndpoint中receive方法模式匹配处理申请资源消息，调用DriverEndpoint的makeOffers，在makeOffers方法中调用DriverEndpoint的TaskSchedulerImpl成员(注意： DriverEndpoint是CoarseGrainedSchedulerBackend的内部类，所以依赖外部的TaskSchedulerImpl成员)的resourceOffers给Task分配运行节点

9：再调用DriverEndpoint的launchTasks方法启动任务

10：在DriverEndpoint的launchTasks方法中对Seq[TaskDescription]遍历进行序列化(在资源分配时候返回的Seq[TaskDescription])然后给CoarseGrainedExecutorBackend发LaunchTask(newSerializableBuffer(serializedTask))消息 。

11：在CoarseGrainedExecutorBackend的receive方法中处理LaunchTask(newSerializableBuffer(serializedTask))消息，首先反序列化Task为TaskDescription信息,然后调用executor(executor为spark的Executor的实例)的launchTask方法，将TaskDesc转化为TaskRunner，最后提交org.apache.spark.executor.Executor的threadPool线程池执行(threadPool底层是java的线程池，实现方式：Executors.newCachedThreadPool，Spark的Executor是线程池和SparkEnv、id、hostname的封装)。到此任务提交到执行完毕！