谈谈RDD、DataFrame、Dataset的区别和各自的优势
2017-05-16 20:00
225 查看
在spark中,RDD、DataFrame、Dataset是最常用的数据类型,本博文给出笔者在使用的过程中体会到的区别和各自的优势
1、RDD、DataFrame、Dataset全都是spark平台下的分布式弹性数据集,为处理超大型数据提供便利
2、三者都有惰性机制,在进行创建、转换,如map方法时,不会立即执行,只有在遇到Action如foreach时,三者才会开始遍历运算,极端情况下,如果代码里面有创建、转换,但是后面没有在Action中使用对应的结果,在执行时会被直接跳过,如
map中的println("运行")并不会运行
3、三者都会根据spark的内存情况自动缓存运算,这样即使数据量很大,也不用担心会内存溢出
4、三者都有partition的概念,如
这样对每一个分区进行操作时,就跟在操作数组一样,不但数据量比较小,而且可以方便的将map中的运算结果拿出来,如果直接用map,map中对外面的操作是无效的,如
不使用partition时,对map之外的操作无法对map之外的变量造成影响
5、三者有许多共同的函数,如filter,排序等
6、在对DataFrame和Dataset进行操作许多操作都需要这个包进行支持
7、DataFrame和Dataset均可使用模式匹配获取各个字段的值和类型
DataFrame:
为了提高稳健性,最好后面有一个_通配操作,这里提供了DataFrame一个解析字段的方法
Dataset:
1、RDD一般和spark mlib同时使用
2、RDD不支持sparksql操作
1、与RDD和Dataset不同,DataFrame每一行的类型固定为Row,只有通过解析才能获取各个字段的值,如
每一列的值没法直接访问
2、DataFrame与Dataset一般与spark ml同时使用
3、DataFrame与Dataset均支持sparksql的操作,比如select,groupby之类,还能注册临时表/视窗,进行sql语句操作,如
4、DataFrame与Dataset支持一些特别方便的保存方式,比如保存成csv,可以带上表头,这样每一列的字段名一目了然
利用这样的保存方式,可以方便的获得字段名和列的对应,而且分隔符(delimiter)可以自由指定
这里主要对比Dataset和DataFrame,因为Dataset和DataFrame拥有完全相同的成员函数,区别只是每一行的数据类型不同
DataFrame也可以叫Dataset[Row],每一行的类型是Row,不解析,每一行究竟有哪些字段,各个字段又是什么类型都无从得知,只能用上面提到的getAS方法或者共性中的第七条提到的模式匹配拿出特定字段
而Dataset中,每一行是什么类型是不一定的,在自定义了case class之后可以很自由的获得每一行的信息
可以看出,Dataset在需要访问列中的某个字段时是非常方便的,然而,如果要写一些适配性很强的函数时,如果使用Dataset,行的类型又不确定,可能是各种case class,无法实现适配,这时候用DataFrame即Dataset[Row]就能比较好的解决问题
RDD、DataFrame、Dataset三者有许多共性,有各自适用的场景常常需要在三者之间转换
这个转换很简单
一般用元组把一行的数据写在一起,然后在toDF中指定字段名
可以注意到,定义每一行的类型(case class)时,已经给出了字段名和类型,后面只要往case class里面添加值即可
这个也很简单,因为只是把case class封装成Row
这种方法就是在给出每一列的类型后,使用as方法,转成Dataset,这在数据类型是DataFrame又需要针对各个字段处理时极为方便
在使用一些特殊的操作时,一定要加上 import spark.implicits._ 不然toDF、toDS无法使用
共性:
1、RDD、DataFrame、Dataset全都是spark平台下的分布式弹性数据集,为处理超大型数据提供便利2、三者都有惰性机制,在进行创建、转换,如map方法时,不会立即执行,只有在遇到Action如foreach时,三者才会开始遍历运算,极端情况下,如果代码里面有创建、转换,但是后面没有在Action中使用对应的结果,在执行时会被直接跳过,如
3、三者都会根据spark的内存情况自动缓存运算,这样即使数据量很大,也不用担心会内存溢出
4、三者都有partition的概念,如
5、三者有许多共同的函数,如filter,排序等
6、在对DataFrame和Dataset进行操作许多操作都需要这个包进行支持
DataFrame:
Dataset:
区别:
RDD:
1、RDD一般和spark mlib同时使用2、RDD不支持sparksql操作
DataFrame:
1、与RDD和Dataset不同,DataFrame每一行的类型固定为Row,只有通过解析才能获取各个字段的值,如2、DataFrame与Dataset一般与spark ml同时使用
3、DataFrame与Dataset均支持sparksql的操作,比如select,groupby之类,还能注册临时表/视窗,进行sql语句操作,如
Dataset:
这里主要对比Dataset和DataFrame,因为Dataset和DataFrame拥有完全相同的成员函数,区别只是每一行的数据类型不同DataFrame也可以叫Dataset[Row],每一行的类型是Row,不解析,每一行究竟有哪些字段,各个字段又是什么类型都无从得知,只能用上面提到的getAS方法或者共性中的第七条提到的模式匹配拿出特定字段
而Dataset中,每一行是什么类型是不一定的,在自定义了case class之后可以很自由的获得每一行的信息
转化:
RDD、DataFrame、Dataset三者有许多共性,有各自适用的场景常常需要在三者之间转换
DataFrame/Dataset转RDD:
这个转换很简单
RDD转DataFrame:
RDD转Dataset:
Dataset转DataFrame:
这个也很简单,因为只是把case class封装成Row
DataFrame转Dataset:
特别注意:
在使用一些特殊的操作时,一定要加上 import spark.implicits._ 不然toDF、toDS无法使用
相关文章推荐
- RDD、DataFrame、Dataset的区别和各自的优势
- RDD,DataFrame 和 Dataset区别以及各自用途
- RDD,DataFrame与DataSet区别
- Spark RDD、DataFrame、DataSet区别和联系
- BigData进阶--细说RDD,DataFrame,Dataset的区别
- DataFrame、RDD、DataSet的区别
- RDD,DataFrame与DataSet区别
- rdd,dataframe,dataset之间的区别
- RDD、DataFrame和DataSet的区别
- RDD、DataFrame和DataSet的区别
- 谈谈HtmlControl与WebControl的区别以及各自应该什么时候用
- asp,asp.net,php,jsp语言的区别各自的优势
- RDD、DataFrame和DataSet的区别
- 谈谈HtmlControl与WebControl的区别以及各自应该什么时候用
- Spark核心API发展史:RDD、DataFrame、DataSet
- 谈谈HtmlControl与WebControl的区别以及各自应该什么时候用
- 区别RDD、DataFrame和DataSet
- .NET里对XML操作的方法太多!大家都给谈谈有什么区别?和各自的便利
- 谈谈主流域名与非主流域名的各自优势
- Spark RDD、DataFrame和DataSet的区别