spark学习系列——10 spark宽依赖和窄依赖
2018-03-26 19:37
267 查看
如何表现RDD之间的依赖。在RDD中将依赖划分成了两种类型：窄依赖(narrow dependencies)和宽依赖(wide dependencies)。窄依赖是指父RDD的每个分区都只被子RDD的一个分区所使用。相应的，那么宽依赖就是指父RDD的分区被多个子RDD的分区所依赖。例如，map就是一种窄依赖，而join则会导致宽依赖(除非父RDD是hash-partitioned，见下图)。
具体例子：
宽、窄 依赖有什么作用？
哪些算子是宽依赖，窄依赖？
具体例子：
宽、窄 依赖有什么作用？
哪些算子是宽依赖，窄依赖？
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Opencv2系列学习笔记10(提取连通区域轮廓)
- Maven学习总结系列四：坐标与依赖
- （二）Spark学习系列
- Spark-SparkSQL深入学习系列八（转自OopsOutOfMemory）
- Spark学习系列-1. 入门
- LSTM长短记，长序依赖可追忆（深度学习入门系列之十四）
- 【Windows中Spark环境搭建 | 基于Maven依赖库】在windows中对spark程序进行local调试学习
- spark学习10之将spark的AppName设置为自动获取当前类名
- Caffe学习系列(10)：命令行解析
- 【Spark深入学习 -10】基于spark构建企业级流处理系统
- [C++再学习系列] typename和依赖类型
- Spark中组件Mllib的学习10之修改MovieLens来对movieLen中的100k数据进行预测
- SpringMVC学习系列（10） 之 异常处理
- 微软企业库5.0学习笔记（10）ASP.NET模块依赖注入
- 【Spring学习10】依赖配置：bean的父子继承
- ELK学习10_ELK系列--实时日志分析系统ELK 部署与运行中的问题汇总
- ASP.NET Core 2.0系列学习笔记-DI依赖注入
- Silverlight渐进学习系列(2)——关于依赖属性
- Spark-SparkSQL深入学习系列九（转自OopsOutOfMemory）
- （三）Spark学习系列