spark内核揭秘-02-spark集群概览
2015-01-18 09:15
246 查看
Spark集群预览:
官方文档对spark集群的初步描述如下,这是一个典型的主从结构:
官方文档对spark集群中的一些关键点给出详细的指导:
其Worker的定义如下所示:
需要注意的是Spark Driver所在的集群需要和Spark集群最好位于同一个网络环境中,因为Driver中的SparkContext实例需发送任务给不同Worker Node的Executor并接受Executor的一些执行结果信息,一般而言,在企业实际的生产环境中Driver所在的机器是的配置往往都是比较不错的,尤其是其CPU的处理能力要很强悍。
官方文档对spark集群的初步描述如下,这是一个典型的主从结构:
官方文档对spark集群中的一些关键点给出详细的指导:
其Worker的定义如下所示:
需要注意的是Spark Driver所在的集群需要和Spark集群最好位于同一个网络环境中,因为Driver中的SparkContext实例需发送任务给不同Worker Node的Executor并接受Executor的一些执行结果信息,一般而言,在企业实际的生产环境中Driver所在的机器是的配置往往都是比较不错的,尤其是其CPU的处理能力要很强悍。
相关文章推荐
- spark内核揭秘-02-spark集群概览
- spark内核揭秘-09-RDD的count操作 触发Job全生命周期-02
- spark内核揭秘-09-RDD的count操作 触发Job全生命周期-02
- spark内核揭秘-01-spark内核核心术语解析
- spark内核揭秘-01-spark内核核心术语解析
- spark内核揭秘-03-spark核心组件
- spark内核揭秘-10-RDD源码分析
- spark内核揭秘-03-spark核心组件
- spark内核揭秘-10-RDD源码分析
- spark内核揭秘-14-Spark性能优化的10大问题及其解决方案
- spark内核揭秘-11-Driver中AppClient源码分析
- spark内核揭秘-04-spark任务调度系统个人理解
- spark内核揭秘-09-RDD的count操作 触发Job全生命周期-01
- spark内核揭秘-11-Driver中AppClient源码分析
- spark内核揭秘-04-spark任务调度系统个人理解
- spark内核揭秘-09-RDD的count操作 触发Job全生命周期-01
- spark内核揭秘-12-AppClient注册Masters
- spark内核揭秘-12-AppClient注册Masters
- spark内核揭秘-06-TaskSceduler启动源码解析初体验
- spark内核揭秘-06-TaskSceduler启动源码解析初体验