Spark基本原理与RDD
2016-10-22 17:03
393 查看
Spark基本工作原理
1、分布式
2、主要基于内存(少数情况基于磁盘)
3、迭代式计算
RDD以及其特点
1、RDD是Spark提供的核心抽象,全称为Resillient Distributed Dataset,即弹性分布式数据集。
2、RDD在抽象上来说是一种元素集合,包含了数据。它是被分区的,分为多个分区,每个分区分布在集群中的不同节点上,从而让RDD中的数据可以被并行操作。(分布式数据集)
3、RDD通常通过Hadoop上的文件,即HDFS文件或者Hive表,来进行创建;有时也可以通过应用程序中的集合来创建。
4、RDD最重要的特性就是,提供了容错性,可以自动从节点失败中恢复过来。即如果某个节点上的RDD partition,因为节点故障,导致数据丢了,那么RDD会自动通过自己的数据来源重新计算该partition。这一切对使用者是透明的。
5、RDD的数据默认情况下存放在内存中的,但是在内存资源不足时,Spark会自动将RDD数据写入磁盘。(弹性)
1、分布式
2、主要基于内存(少数情况基于磁盘)
3、迭代式计算
RDD以及其特点
1、RDD是Spark提供的核心抽象,全称为Resillient Distributed Dataset,即弹性分布式数据集。
2、RDD在抽象上来说是一种元素集合,包含了数据。它是被分区的,分为多个分区,每个分区分布在集群中的不同节点上,从而让RDD中的数据可以被并行操作。(分布式数据集)
3、RDD通常通过Hadoop上的文件,即HDFS文件或者Hive表,来进行创建;有时也可以通过应用程序中的集合来创建。
4、RDD最重要的特性就是,提供了容错性,可以自动从节点失败中恢复过来。即如果某个节点上的RDD partition,因为节点故障,导致数据丢了,那么RDD会自动通过自己的数据来源重新计算该partition。这一切对使用者是透明的。
5、RDD的数据默认情况下存放在内存中的,但是在内存资源不足时,Spark会自动将RDD数据写入磁盘。(弹性)
相关文章推荐
- Spark里边:到底是什么RDD
- spark实战之RDD的cache或persist操作不会触发transformation计算
- Apache Spark RDD(Resilient Distributed Datasets)论文
- spark之RDD基本转换
- Spark计算模型RDD
- Spark RDD 分区数详解
- Spark中Task,Partition,RDD、节点数、Executor数、core数目的关系
- spark中job的逻辑计划--RDD
- Spark RDD Persistence
- spark-RDD学习
- spark rdd api
- Spark算子--RDD的基本转换
- Spark算子--RDD的基本转换
- Spark(day03) -- Installation,RDD(WC)
- Spark RDD 到 LabelPoint的转换(包含构造临时数据的方法)
- 3.Spark SQL:使用反射方式、编程方式,将RDD转换为DataFrame
- Spark算子:RDD创建操作
- Spark RDD API具体解释(一) Map和Reduce
- spark 中的RDD编程 -以下基于Java api
- spark中的RDD算子