spark作业调度

DAG Scheduler

1、根据DAG将stages拆分为多个Task，组成一个TaskSet，决定每个任务的最佳位置，也就是具体需要操作的数据在哪里；

2、记录哪个RDD或者Stage输出被物化，也就是catch之类的操作；

3、将taskset（每一个stage就是一个taskset）传给底层调度器TaskScheduler；

4、重新提交shuffle输出丢失的stage，stage内部的错误他是不管的；

Task Scheduler

1、提交taskset(就是一组task)到集群运⾏行并汇报结果；

2、出现shuffle输出lost要报告fetch failed错误；

3、碰到straggle任务需要放到别的节点上重试；

4、为每⼀一个TaskSet维护⼀一个TaskSetManager(追踪本地性及错误信息)；