9、SparkRDD编程关键点总结
2016-11-28 00:00
190 查看
1:case class
使用case class 样例类封装数据,不用new,一般Java中的javabean,在Spark或者scala中用case class 样例类来实现。
2:一般样例类case class 都需要实现Serialzable接口,因为需要在网络中传输。
3:object class
这个和case class 差不多,只是它是单例的,不能传递参数,一般用于akka编程中的一个标记传输,也需要实现Serialzeble
4:隐式转换
他的功能类似于继承,不同的是:
继承==>是在构建对象的时候就把相应的功能模块加入到对象中了,直接用。
隐式转换===>构建对象的时候,没有把他们加进来,只是在用到的时候,当前对象找不到,才去创建隐私转换的对象,然后调用他的方法。
使用case class 样例类封装数据,不用new,一般Java中的javabean,在Spark或者scala中用case class 样例类来实现。
2:一般样例类case class 都需要实现Serialzable接口,因为需要在网络中传输。
3:object class
这个和case class 差不多,只是它是单例的,不能传递参数,一般用于akka编程中的一个标记传输,也需要实现Serialzeble
4:隐式转换
他的功能类似于继承,不同的是:
继承==>是在构建对象的时候就把相应的功能模块加入到对象中了,直接用。
隐式转换===>构建对象的时候,没有把他们加进来,只是在用到的时候,当前对象找不到,才去创建隐私转换的对象,然后调用他的方法。
相关文章推荐
- Spark RDD系列-------1. 决定Spark RDD分区算法因素的总结
- 第2课 Scala面向对象彻底精通及Spark源码SparkContext,RDD阅读总结
- Spark RDD/Core 编程 API入门系列之动手实战和调试Spark文件操作、动手实战操作搜狗日志文件、搜狗日志文件深入实战(二)
- Spark快速大数据分析-RDD编程
- Spark RDD 核心总结
- Spark入门——1:RDD及编程接口
- Spark学习---RDD编程
- Spark菜鸟学习营Day3 RDD编程进阶
- Spark之RDD编程
- 决定Spark RDD分区算法因素的总结
- Spark学习之RDD编程(2)
- spark 中的RDD编程 -以下基于Java api
- [2.3]Spark DataFrame操作(二)之通过编程动态完成RDD与DataFrame的转换
- Spark RDD/Core 编程 API入门系列之map、filter、textFile、cache、对Job输出结果进行升和降序、union、groupByKey、join、reduce、lookup(一)
- Spark的RDD编程(二)
- spark 中的RDD编程 -以下基于Java api
- Spark RDD操作(Python)总结
- Spark RDD 编程实例
- Spark RDD/Core 编程 API入门系列 之rdd案例(map、filter、flatMap、groupByKey、reduceByKey、join、cogroupy等)(四)
- Spark编程指南入门之Java篇六-RDD持久化介绍