Spark独到见解--Action算子总结
2017-11-13 21:39
225 查看
Action行动算子
1、count
返回数据集中的元素数。会在结果计算完成后回收到Driver端。
2、take(n)
返回一个包含数据集前n个元素的集合。
3、first
first=take(1),返回数据集中的第一个元素。
4、foreach
循环遍历数据集中的每个元素,运行相应的逻辑。
5、 collect
将计算结果回收到Driver端。
6、foreachPartition
遍历的数据是每个partition的数据。
7、countByKey
作用到K,V格式的RDD上,根据Key计数相同Key的数据集元素。
8、countByValue
根据数据集每个元素相同的内容来计数。返回相同内容的元素对应的条数。
9、reduce
根据聚合逻辑聚合数据集中的每个元素。
1、count
返回数据集中的元素数。会在结果计算完成后回收到Driver端。
2、take(n)
返回一个包含数据集前n个元素的集合。
3、first
first=take(1),返回数据集中的第一个元素。
4、foreach
循环遍历数据集中的每个元素,运行相应的逻辑。
5、 collect
将计算结果回收到Driver端。
6、foreachPartition
遍历的数据是每个partition的数据。
7、countByKey
作用到K,V格式的RDD上,根据Key计数相同Key的数据集元素。
8、countByValue
根据数据集每个元素相同的内容来计数。返回相同内容的元素对应的条数。
9、reduce
根据聚合逻辑聚合数据集中的每个元素。
相关文章推荐
- Spark独到见解--Transformation算子总结
- Spark独到见解--3控制算子
- Spark独到见解--1、什么是Spark?及和MR的区别
- Spark算子:RDD行动Action操作(6)–saveAsHadoopFile、saveAsHadoopDataset
- Spark算子:RDD行动Action操作(4)–countByKey、foreach、foreachPartition、sortBy
- Spark算子:RDD行动Action操作(5)–saveAsTextFile、saveAsSequenceFile、saveAsObjectFile
- Spark算子:RDD行动Action操作(7)–saveAsNewAPIHadoopFile、saveAsNewAPIHadoopDataset
- Spark算子总结及案例
- Spark算子-RDD Action(saveAsNewAPIHadoopFile)
- Spark的Transform算子和Action算子列举和示例
- 【spark】Spark transformation和action的算子
- Spark算子:RDD行动Action操作(4)–countByKey、foreach、foreachPartition、sortBy
- 【Spark】RDD操作详解4——Action算子
- Spark之Action算子(一)
- Spark算子:RDD行动Action操作(3)–aggregate、fold、lookup
- Spark算子:RDD行动Action操作(5)–saveAsTextFile、saveAsSequenceFile、saveAsObjectFile
- Spark算子:RDD行动Action操作(2)–take、top、takeOrdered
- Spark算子:RDD行动Action操作(1)–first、count、reduce、collect
- 【Spark篇】---Spark中Action算子
- spark的transformation和action算子(基本操作)