您的位置:首页 > 其它

Spark独到见解--Action算子总结

2017-11-13 21:39 225 查看
Action行动算子

 1、count

      返回数据集中的元素数。会在结果计算完成后回收到Driver端

 2、take(n)

     返回一个包含数据集前n个元素的集合。

 3、first

       first=take(1),返回数据集中的第一个元素。

 4、foreach

      循环遍历数据集中的每个元素,运行相应的逻辑。

5、 collect

      将计算结果回收到Driver端。

 6、foreachPartition

       遍历的数据是每个partition的数据。

 7、countByKey

      作用到K,V格式的RDD上,根据Key计数相同Key的数据集元素。

 8、countByValue

       根据数据集每个元素相同的内容来计数。返回相同内容的元素对应的条数。

 9、reduce

       根据聚合逻辑聚合数据集中的每个元素。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  spark 数据