您的位置:首页 > 其它

RDD Transformation算子分类

2016-07-22 20:49 253 查看
处理数据类型为Value型的Transformation算子可以根据RDD变换算子的输入分区与输出分区关系分为以下几种类型:

1)输入分区与输出分区一对一型

(1)map

(2)flatMap

(3)mapPartitions

(4)glom

2)输入分区与输出分区多对一型

(1)union

(2)certesian

3)输入分区与输出分区多对多型

groupBy

4)输出分区为输入分区子集型

(1)filter

(2)distinct

(3)subtract

(4)sample

(5)takeSample

5)还有一种特殊的输入与输出分区一对一的算子类型:Cache型。 Cache算子对RDD分区进行缓存

(1)cache

(2)persist
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  RDD转换 算子