每天一点进步：Spark运行模式和原理

一、spark运行模式

在实际引用中，spark应用程序运行模式取决于传递给sparkContext的master环境变量的值。目前所支持的master环境变量由特定的字符串或者URL组成，

Spark基本工作流程如下图：

 


 

运行模式列举如下所示:

1,Local
：本地模式，使用N个线程。

2,Local cluster[worker, core, Memory]：伪分布式模式，可以配置所需要启动的虚拟工作节点的数量，以及每个工作节点所管理的CPU数量和内存尺寸。

3,Spark://hostname:port：Standalone模式，需要部署Spark到相关节点，URL为Spark Master主机地址和端口。

4,Mesos://hostname:port：Mesos模式，需要部署Spark和Mesos到相关节点，URL为Mesos主机地址和端口。

5,YARN standalone/Yarn cluster：YARN模式一，主程序逻辑和任务都运行在YARN集群中。

YARN client：YARN模式二，主程序逻辑运行在本地，具体任务运行在YARN集群中。,

 

二、spark运行原理（本介绍全部用图的方式展现）

1，Local模式内部实现原理



 

2，Standalone运行原理



3，local cluster（伪分布式）运行原理



4，Mesos运行原理



5，yarn cluster运行原理



6，yarn client运行原理