RDD Transformation算子分类
2016-07-22 20:49
253 查看
处理数据类型为Value型的Transformation算子可以根据RDD变换算子的输入分区与输出分区关系分为以下几种类型:
1)输入分区与输出分区一对一型
(1)map
(2)flatMap
(3)mapPartitions
(4)glom
2)输入分区与输出分区多对一型
(1)union
(2)certesian
3)输入分区与输出分区多对多型
groupBy
4)输出分区为输入分区子集型
(1)filter
(2)distinct
(3)subtract
(4)sample
(5)takeSample
5)还有一种特殊的输入与输出分区一对一的算子类型:Cache型。 Cache算子对RDD分区进行缓存
(1)cache
(2)persist
1)输入分区与输出分区一对一型
(1)map
(2)flatMap
(3)mapPartitions
(4)glom
2)输入分区与输出分区多对一型
(1)union
(2)certesian
3)输入分区与输出分区多对多型
groupBy
4)输出分区为输入分区子集型
(1)filter
(2)distinct
(3)subtract
(4)sample
(5)takeSample
5)还有一种特殊的输入与输出分区一对一的算子类型:Cache型。 Cache算子对RDD分区进行缓存
(1)cache
(2)persist
相关文章推荐
- Spark算子篇-combineByKey实战
- take
- HALCON算子描述:dev_close_window
- Spark Transformation —— distinct 算子
- 图解Spark Transformation算子
- leo学习系列之三——leo基础用法算子
- OPENCV用户手册之图像处理(网络资料搜集整理)
- Candy算子 分割 车辆
- spark RDD算子详解1
- Spark 算子
- Halcon算子
- 我的Jakarta+Commons
- Scala 高级算子
- sparkRDD 算子的创建和使用
- 浅谈Spark算子
- Halcon算子_fuzzy_measure_pairs
- Halcon算子_set_fuzzy_measure
- Halcon算子_measure_pairs
- Halcon算子_find_aniso_shape_model
- Halcon算子_create_aniso_shape_model