Spark 启动分析
2013-01-22 17:12
232 查看
Spark启动分析
Spark进程 :
Master: 负责集群资源分配. 当Client请求资源时将请求分配给某个Worker
Worker: 负责当前节点资源分配. 当收到Master的LaunchExecutor命令时分配资源,启动Executor
ExecutorBackend: 负责执行计算任务. 由Worker启动. 分为MesosExecutorBackend 和 StandaloneExecutorBackend, 分别是使用mesos启动或者直接fork进程
简单流程如下图所示:
Spark job 执行序列图如下:
Spark进程 :
Master: 负责集群资源分配. 当Client请求资源时将请求分配给某个Worker
Worker: 负责当前节点资源分配. 当收到Master的LaunchExecutor命令时分配资源,启动Executor
ExecutorBackend: 负责执行计算任务. 由Worker启动. 分为MesosExecutorBackend 和 StandaloneExecutorBackend, 分别是使用mesos启动或者直接fork进程
简单流程如下图所示:
Spark job 执行序列图如下:
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Spark集群启动之Master、Worker启动流程源码分析
- spark源码分析Master与Worker启动流程篇
- Spark分析之SparkContext启动过程分析
- Spark分析之启动流程
- spark源码分析之Executor启动与任务提交篇
- Spark On YARN启动流程源码分析
- Spark1.3从创建到提交：5)Executor启动源码分析
- spark 源代码分析 （二）spark启动过程
- spark core源码分析2 master启动流程
- spark 1.6.0 core源码分析1 集群启动及任务提交过程
- spark core源码分析1 集群启动及任务提交过程
- Spark分析之SparkContext启动过程分析
- spark 启动job的流程分析
- Spark源码分析之worker节点启动driver和executor
- spark 1.6.0 core源码分析4 worker启动流程
- Spark源码分析之Worker启动通信机制
- Spark集群启动过程分析
- Spark的Master和Worker集群启动的源码分析
- spark源码学习（三）---worker源码分析-worker启动driver、executor分析
- Spark源码分析-master启动