spark内核揭秘-03-spark核心组件
2015-01-18 09:46
260 查看
spark核心组件如下所示:
在SparkContext初始化的时候,会初始化一系列内容:
查看内存使用情况:
创建和启动scheduler:
集群核心组件中的Block tracker是用于block和partition对应关系的管理。
集群核心组件中的shuffle tracker是用于记录shuffle操作的过程细节。
从集群中也可以看出,Executor在执行任务的时候是采用多线程的方式执行的并能够在HDFS或者HBase等系统上读取数据。
而在实际的Driver Program运行的时候每个partition都会由一个task负责运行的
也就是说有多partition就会有多少task在运行,而这些task都是并发的运行在Executor中的。
在SparkContext初始化的时候,会初始化一系列内容:
查看内存使用情况:
创建和启动scheduler:
集群核心组件中的Block tracker是用于block和partition对应关系的管理。
集群核心组件中的shuffle tracker是用于记录shuffle操作的过程细节。
从集群中也可以看出,Executor在执行任务的时候是采用多线程的方式执行的并能够在HDFS或者HBase等系统上读取数据。
而在实际的Driver Program运行的时候每个partition都会由一个task负责运行的
也就是说有多partition就会有多少task在运行,而这些task都是并发的运行在Executor中的。
相关文章推荐
- spark内核揭秘-03-spark核心组件
- spark内核揭秘-05-SparkContext核心源码解析初体验
- spark内核揭秘-05-SparkContext核心源码解析初体验
- spark内核揭秘-01-spark内核核心术语解析
- spark内核揭秘-01-spark内核核心术语解析
- spark内核揭秘-04-spark任务调度系统个人理解
- spark内核揭秘-13-Worker中Executor启动过程源码分析
- spark学习-核心组件
- spark内核揭秘-13-Worker中Executor启动过程源码分析
- spark内核揭秘-10-RDD源码分析
- spark内核揭秘-10-RDD源码分析
- spark内核揭秘-09-RDD的count操作 触发Job全生命周期-02
- spark内核揭秘-14-Spark性能优化的10大问题及其解决方案
- Hadoop与Spark的核心组件对比
- spark内核揭秘-09-RDD的count操作 触发Job全生命周期-01
- spark内核揭秘-09-RDD的count操作 触发Job全生命周期-02
- Vert.x 核心模块 内核组件Verticle(二)
- spark内核揭秘-09-RDD的count操作 触发Job全生命周期-01
- spark内核揭秘-11-Driver中AppClient源码分析
- spark内核揭秘-14-Spark性能优化的10大问题及其解决方案