Spark特点
2016-12-19 10:28
176 查看
Spark特点
1、先进架构
Spark采用Scala语言编写,底层采用了actor mode的akka作为通讯框架,代码十分简洁高效。
基于DAG图的执行引擎,减少多次计算之间中间结果写到hdfs的开销。
建立在统一抽象的RDD(分布式内存抽象)之上,使得它可以以基本一致的方式应对不同的大数据处理场景。
2、高效
提供Cache机制来支持需要反复迭代的计算或者多次数据共享,减少数据读取的IO开销。
3、易用
Spark提供广泛的数据集操作类型(20+种),不像Hadoop只提供了Map和Reduce两种操作。
Spark支持Java,Python 和Scala API
4、提供整体解决方案
Spark内存承诺狐狸
Spark SQL交互式处理
Spark Streaming 是建立在Spark上的实时计算框架,通过它提供丰富的API、基于内存的高速执行引擎,用户可以结合流式、批处理和交互式查询应用。
Spark MLlib 是Spark对常用的机器学习算法的实现库,同时包括相关的测试和数据生成器。
Spark GraphX 是一个分布式图处理框架,基于Spark平台提供对图计算和图挖掘简洁易用的而丰富多彩的接口,极大方便了大家对分布式图处理的需求。
5、与Hadoop无缝连接
Spark可以使用YARN作为他的集群管理器
读取HDFS,HBase等一切Hadoop的数据
1、先进架构
Spark采用Scala语言编写,底层采用了actor mode的akka作为通讯框架,代码十分简洁高效。
基于DAG图的执行引擎,减少多次计算之间中间结果写到hdfs的开销。
建立在统一抽象的RDD(分布式内存抽象)之上,使得它可以以基本一致的方式应对不同的大数据处理场景。
2、高效
提供Cache机制来支持需要反复迭代的计算或者多次数据共享,减少数据读取的IO开销。
3、易用
Spark提供广泛的数据集操作类型(20+种),不像Hadoop只提供了Map和Reduce两种操作。
Spark支持Java,Python 和Scala API
4、提供整体解决方案
Spark内存承诺狐狸
Spark SQL交互式处理
Spark Streaming 是建立在Spark上的实时计算框架,通过它提供丰富的API、基于内存的高速执行引擎,用户可以结合流式、批处理和交互式查询应用。
Spark MLlib 是Spark对常用的机器学习算法的实现库,同时包括相关的测试和数据生成器。
Spark GraphX 是一个分布式图处理框架,基于Spark平台提供对图计算和图挖掘简洁易用的而丰富多彩的接口,极大方便了大家对分布式图处理的需求。
5、与Hadoop无缝连接
Spark可以使用YARN作为他的集群管理器
读取HDFS,HBase等一切Hadoop的数据
相关文章推荐
- Spark RDD概念学习系列之RDD的5大特点
- spark原理入门详解:包括生态、特点、概念等
- 简要描述一下Hadoop, Spark, MPI三种计算框架的特点以及分别适用于什么样的场景
- spark产生背景及特点
- spark特点
- Hadoop, Spark, MPI三种计算框架的特点以及分别适用于什么样的场景
- Hadoop, Spark, MPI三种计算框架的特点以及分别适用于什么样的场景
- Spark Streaming特点
- Hadoop、Storm和Spark主流分布式系统特点和应用场景
- Hadoop, Spark, MPI 三种计算框架的特点以及分别适用于什么样的场景
- Spark 概念学习系列之Spark相比Hadoop MapReduce的特点(二)
- spark原理入门详解:包括生态、特点、概念等
- Spark入门(1-2)Spark的特点、生态系统和技术架构
- spark的RDD五大特点
- Spark概述、Spark特点
- Spark 特点
- Apache Spark源码走读之6 -- 存储子系统分析
- Spark入门实战系列--7.Spark Streaming(上)--实时流计算Spark Streaming原理介绍
- 第1课:解密SparkStreaming另类实验及SparkStreaming本质解析
- Spark2.0安装配置