Spark 中算子功能与分类介绍

1. value型算子

    从输入到输出可分为一对一（包括cache）、多对一、多对多、输出分区为输入分区自激

    1)一对一，

        map,简单的一对一映射，集合不变；

        flatMap，一对一映射，并将最后映射结果整合；

        mappartitions,对分区内元素进行迭代操作，例如过滤等，然后分区不变

        glom,将分区内容转换成数据

    2）多对一，

        union，相同数据类型RDD进行合并，并不去重

        cartesian,对RDD内的所有元素进行笛卡尔积操作

    3）多对多，

        groupBy，将元素通过函数生成相应的Key，然后转化为Key-value格式

    4）输出分区为出入分区子集，

        filter，对RDD进行过滤操作，结果分区不调整

        distinct，对RDD进行去重操作，

        subtract，RDD间进行减操作，去除相同数据元素

        sample/takeSample 对RDD进行采样操作

    5）cache,

        cache,将RDD数据原样存入内存

        persist，对RDD数据进行缓存操作

2. Key-Value算子

    Key-Value算子大致可分为一对一，聚集，连接三类操作

    1）一对一，

        mapValues，针对数值对中的Value进行上面提到的map操作

    2）聚集操作

        combineByKey、reduceByKey、partitionBy、cogroup

    3）连接

        join、leftOutJoin、rightOutJoin

3. Actions算子

    该算子通过SparkContext执行提交作业操作，出发RDD DAG的执行

    1）foreach， 对RDD中每个元素进行操作，但是不返回RDD或者Array，只返回Unit

    2）存入HDFS,saveAsTextFile，saveAsObjectFile

    3）scala数据格式，collect，collectAsMap，reduceByKeyLocally， lookup， count， top， reduce， fold， aggregate