Spark基本运行流程
2017-06-04 18:22
295 查看
不多说，直接上干货！
Job ： 包含多个Task 组成的并行计算，跟Spark action对应。
Stage ： Job 的调度单位，对应于TaskSet 。
TaskSet ：一组关联的、相互之间没有shuffle 依赖关系的任务组成的任务集。
Task ： 被送到某个executor 上的工作单元
[b]Spark 运行流程概述[/b]
[b] Spark具体流程(以standalone模式为例)[/b]
Spark基本运行流程
Application program的组成Job ： 包含多个Task 组成的并行计算，跟Spark action对应。
Stage ： Job 的调度单位，对应于TaskSet 。
TaskSet ：一组关联的、相互之间没有shuffle 依赖关系的任务组成的任务集。
Task ： 被送到某个executor 上的工作单元
[b]Spark 运行流程概述[/b]
[b] Spark具体流程(以standalone模式为例)[/b]
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Struts1程序的基本运行流程
- angularjs基本运行流程
- Spark系统运行内幕机制循环流程
- 源码-spark运行流程分析
- Spark 的运行流程原理
- Windows程序的基本运行流程
- Spark运行流程 blog
- Spark1.0.0 运行架构基本概念
- Spark源码分析之一：Job提交运行总流程概述
- Spark基本工作流程及YARN cluster模式原理(读书笔记)
- Spark1.0.0 运行架构基本概念
- Android应用开发基本流程及测试运行
- Spark运行流程概述
- DT大数据梦工厂第三十五课 Spark系统运行循环流程
- Spark源码分析之Job提交运行总流程概述
- Spark1.0.0 运行架构基本概念
- 深入Spark内核：任务调度(1)-基本流程
- spark核心术语和运行流程
- IDEA【基本配置1】配置SBT 和 scala 并在spark环境中进行wordcount测试（spark集群运行模式）
- Spark程序设计——基本流程