（笔记）spark内核源码深度剖析（一）
2018-01-31 15:33
561 查看
Spark内核架构
核心组件
1、Application
2、spark-submit
3、Driver
4、SparkContext
5、Master
6、Worker
7、Executor
8、Job
9、DAGScheduler
10、TaskScheduler
11、ShuffleMapTask and ResultTask
spark执行流程
二宽依赖与窄依赖
基于YARN的两种提交模式
核心组件
1、Application
2、spark-submit
3、Driver
4、SparkContext
5、Master
6、Worker
7、Executor
8、Job
9、DAGScheduler
10、TaskScheduler
11、ShuffleMapTask and ResultTask
spark执行流程
二宽依赖与窄依赖
基于YARN的两种提交模式
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Spark内核源码深度剖析：sparkContext初始化的源码核心
- Spark内核源码深度剖析：SparkContext原理剖析与源码分析
- Spark 2.0从入门到精通：Scala编程、大数据开发、上百个实战案例、内核源码深度剖析（278讲全）
- Spark内核源码深度剖析：Master主备切换机制原理剖析与源码分析
- Spark内核源码深度剖析：宽依赖与窄依赖深度剖析
- Spark内核源码深度剖析：基于Yarn的两种提交模式深度剖析
- Spark内核源码深度剖析：Spark内核架构深度剖析
- Spark内核源码深度剖析：SparkContext原理剖析与源码分析
- Spark内核源码深度剖析：基于Yarn的两种提交模式深度剖析
- Spark2.0.X算子源码深度剖析之MapPartitionsRDD,绝对让你看清楚算子的计算本质
- Spark内核深度剖析之内核架构
- 大数据Spark “蘑菇云”行动第81课：Spark GraphX 综合案例作业讲解和源码深度剖析
- Spark2.0.X源码深度剖析之 TaskScheduler之Task划分 —— 国内全网最新最全最具深度！！！
- Spark内核源码剖析、Hadoop高端
- Spark2.0.X源码深度剖析之 Spark Submit..
- [spark源码剖析]RDD相关源码阅读笔记
- Spark内核源码剖析、Hadoop高端
- Spark2.0.X源码深度剖析之 SparkContext
- Spark2.0.X源码深度剖析之 RpcEnv & NettyRpcEnv
- 精通Spark：Spark内核剖析、源码解读、性能优化和商业案例实战