spark on yarn 两种运行模式(client 、cluster)对比
2017-04-17 17:36
946 查看
机器:
master1 : ResourceManager Masternode2 : NodeManager Worker
node3: NodeManager Worker
node4: NodeManager Worker
此时同时开启了 Yarn 和 Spark Standalone
Spark on Yarn 模式不需要打开Spark集群.
图片
点击查看原图
对比(文字):
模式 | 提交模式 | driver(main方法,用户程序) | ApplicationMaster | ResourceManager | NodeManager | Master | Worker | Container | Executor |
---|---|---|---|---|---|---|---|---|---|
standalone | –master spark://master1:7077 | 在Master上 | 在Master上 | 无 | 无 | 用户程序通过与Master节点交互,申请所需资源 | Worker节点负责具体Executor的启动运行 | 无 | 运行在Work上,里面运行Task上,CoarseGrainedExecutorBackend进程 |
spark on yarn(client) | –master yarn –deploy-mode client | driver运行在提交作业的机器上(可以看到程序打印日志) | 运行在某一台机器上,向RM申请资源(container),杀死任务 | 管理资源,接受任务 | 根据RM命令,分配container | 无 | 无 | Container里面运行着Spark Executor | 运行在Container里里面运行Task |
spark on yarn(cluster) | –master yarn –deploy-mode cluster | driver运行在集群上某个机器上(看不到日志,只可以看到running状态),Driver在AppMaster执行 | 运行在集群某一台机器上,申请资源(container),杀死任务. | 管理资源,接受任务 | 根据RM命令,分配container | 无 | 无 | Container里面运行着Spark Executor | 运行在Container里,里面运行Task |
相关文章推荐
- Spark on yarn client 和cluster模式运行序列图
- spark在yarn上面的运行模型:yarn-cluster和yarn-client两种运行模式:
- Spark On Yarn的两种模式yarn-cluster和yarn-client深度剖析
- Spark on yarn有分为两种模式yarn-cluster和yarn-client
- Spark on YARN cluster & client 模式作业运行全过程分析
- Spark on YARN的两种运行模式
- Spark on YARN client模式作业运行全过程分析
- Spark on YARN两种运行模式介绍
- 从源码角度看Spark on yarn client & cluster模式的本质区别
- Spark的运行模式(2)--Yarn-Cluster和Yarn-Client
- Spark on YARN两种运行模式介绍
- Spark on YARN两种运行模式
- Spark-2.1.2 Hadoop-2.7.5 spark-submit yarn client cluster两种模式提交
- 一 spark on yarn cluster模式提交作业,一直处于ACCEPTED状态,改了Client模式后就正常了
- Spark运行模式(local standalond,yarn-client,yarn-cluster,mesos-client,mesos-cluster)
- 从源码角度看Spark on yarn client & cluster模式的本质区别
- Spark Client和Cluster两种运行模式的工作流程
- Spark on Yarn Client和Cluster模式详解
- Spark Client和Cluster两种运行模式的工作流程
- Spark on YARN客户端模式作业运行全过程分析