spark内核揭秘-11-Driver中AppClient源码分析
2015-01-21 18:43
375 查看
首先从SparkContext中TaskScheduler实例的创建开始:
进入taskScheduler.start()方法内部:
进入其实现者TaskSchedulerImpl内部:
可以发现在start具体实现的内部首先是有个backend.start方法:
其最终具体的实现类为:
从代码中可以看出,我们把CoarseGrainedExecutorBackend封装成command,然后交给appDesc,接着交给了Appclient,此时的AppClient就是客户端程序!
AppClient会调用start方法:
此时启动了ClientActor:
关于AppClient的代码,在我之前的博客文章已经分析了,此处俺就不分析了
下一篇要分析registerWithMaster() 和 tryRegisterAllMasters()方法
进入taskScheduler.start()方法内部:
进入其实现者TaskSchedulerImpl内部:
可以发现在start具体实现的内部首先是有个backend.start方法:
其最终具体的实现类为:
从代码中可以看出,我们把CoarseGrainedExecutorBackend封装成command,然后交给appDesc,接着交给了Appclient,此时的AppClient就是客户端程序!
AppClient会调用start方法:
此时启动了ClientActor:
关于AppClient的代码,在我之前的博客文章已经分析了,此处俺就不分析了
下一篇要分析registerWithMaster() 和 tryRegisterAllMasters()方法
相关文章推荐
- spark内核揭秘-11-Driver中AppClient源码分析
- spark内核揭秘-12-AppClient注册Masters
- spark内核揭秘-12-AppClient注册Masters
- spark内核揭秘-10-RDD源码分析
- spark内核揭秘-13-Worker中Executor启动过程源码分析
- spark内核揭秘-13-Worker中Executor启动过程源码分析
- Spark2.X源码学习--从SparkContext创建分析AppClient注册
- spark内核揭秘-10-RDD源码分析
- spark源码学习(三)---worker源码分析-worker启动driver、executor分析
- spark内核揭秘-06-TaskSceduler启动源码解析初体验
- spark内核揭秘-06-TaskSceduler启动源码解析初体验
- [Spark内核] 第31课:Spark资源调度分配内幕天机彻底解密:Driver在Cluster模式下的启动、两种不同的资源调度方式源码彻底解析、资源调度内幕总结
- spark内核揭秘-07-DAGScheduler源码解读初体验
- spark core源码分析11 RDD缓存及checkpoint
- Spark源码分析之worker节点启动driver和executor
- Spark内核源码深度剖析:Master主备切换机制原理剖析与源码分析
- Spark内核源码深度剖析:SparkContext原理剖析与源码分析
- Spark1.3从创建到提交:6)Executor和Driver互动源码分析
- [Spark内核] 第32课:Spark Worker原理和源码剖析解密:Worker工作流程图、Worker启动Driver源码解密、Worker启动Executor源码解密等
- spark内核揭秘-05-SparkContext核心源码解析初体验