Spark RDD的动作
2015-10-26 14:56
302 查看
Action:对数据集计算后返回一个数值value给驱动程序
RDD支持的动作如下:
1、reduce(func)
:通过函数func(接受两个参数,返回一个参数)聚集数据集中的所有元素。这个功能必须可交换且可关联的,从而可以正确地并行执行。
2、collect()
:在驱动程序中,以数组的形式返回数据集的所有元素。通常在使用filter或者其他操作返回一个足够小的数据子集后再使用会比较有用。
3、count()
:返回数据集的元素个数。
4、first()
:返回数据集的第一个元素(类似于take(1))
5、take(n)
:返回一个由数据集的前n个元素组成的数组 (这个操作目前并非并行执行,而是由驱动程序计算所有的元素)
6、takeSample(withReplacement,num,seed) : 返回一个数组,该数组由从数据集中随机采样的num个元素组成,可以选择是否随机数替换不足的部分,seed用于指定随机数生成种子
7、saveAsTextFile(path)
:将数据集的元素以textfile的形式保存到本地文件系统--HDFS或者其他任何hadoop支持的文件系统。对于每个元素,spark将会调用toString方法,将它转换为文件中的文本行
8、saveAsSequenceFile(path):将数据集的元素以hadoop sequencefile的格式保存到指定的目录下,可以是本地系统、HDFS或者任何其他Hadoop支持的文件系统。这个只限于有key-value对组成,并实现了hadoop的writable接口,或者可以隐式地转换为Writable的RDD(Spark保存了基本类型的转换,例如Int,Double,String等)。
9、countByKey()
: 对(K,V)类型的RDD有效,返回一个(K,Int)对的map,表示每一个key对应的元素个数
10、foreach(func)
: 在数据集的每一个元素上,运行函数func进行更新。通常用于边缘效果,例如更细一个累加器,或者和外部存储系统进行交互,例如Hbase。
RDD支持的动作如下:
1、reduce(func)
:通过函数func(接受两个参数,返回一个参数)聚集数据集中的所有元素。这个功能必须可交换且可关联的,从而可以正确地并行执行。
2、collect()
:在驱动程序中,以数组的形式返回数据集的所有元素。通常在使用filter或者其他操作返回一个足够小的数据子集后再使用会比较有用。
3、count()
:返回数据集的元素个数。
4、first()
:返回数据集的第一个元素(类似于take(1))
5、take(n)
:返回一个由数据集的前n个元素组成的数组 (这个操作目前并非并行执行,而是由驱动程序计算所有的元素)
6、takeSample(withReplacement,num,seed) : 返回一个数组,该数组由从数据集中随机采样的num个元素组成,可以选择是否随机数替换不足的部分,seed用于指定随机数生成种子
7、saveAsTextFile(path)
:将数据集的元素以textfile的形式保存到本地文件系统--HDFS或者其他任何hadoop支持的文件系统。对于每个元素,spark将会调用toString方法,将它转换为文件中的文本行
8、saveAsSequenceFile(path):将数据集的元素以hadoop sequencefile的格式保存到指定的目录下,可以是本地系统、HDFS或者任何其他Hadoop支持的文件系统。这个只限于有key-value对组成,并实现了hadoop的writable接口,或者可以隐式地转换为Writable的RDD(Spark保存了基本类型的转换,例如Int,Double,String等)。
9、countByKey()
: 对(K,V)类型的RDD有效,返回一个(K,Int)对的map,表示每一个key对应的元素个数
10、foreach(func)
: 在数据集的每一个元素上,运行函数func进行更新。通常用于边缘效果,例如更细一个累加器,或者和外部存储系统进行交互,例如Hbase。
相关文章推荐
- Web API应用架构在Winform混合框架中的应用(4)--利用代码生成工具快速开发整套应用
- 七层网络协议
- [转载] MFC绘制动态曲线,用双缓冲绘图技术防闪烁
- Hibernate 、多表关联映射 - 多对多关系映射(many-to-many)
- Could not create the Java virtual machine
- 服务器端数据合法性验证:签名sign和口令token原理
- 销售订单配置项目说明
- Leetcode120: 3Sum
- Android 编程下 PopupWindow 窗口的弹出
- 面试中关于 layout_weight 笔记
- 关于京东购物车动画
- 1030. Travel Plan
- 151024 总结
- 搭建高可用mongodb集群(五)--集群搭建的三种方式
- Oracle 11gR2 RAC修改监听默认端口
- win7下AdHoc网络设置共享外网上网
- 1.8 Rotate Matrix
- http长轮询&短轮询
- Android编程中聊天页面背景图片、标题栏由于键盘引起问题的解决方法
- php多线程实现方法及用法实例详解