Spark 特点
2018-03-05 22:04
148 查看
Spark 特点
1. 快
与Hadoop的MapReduce相比,Spark基于内存的运算要快100倍以上,基于硬盘的运算也要快10倍以上。Spark实现了高效的DAG执行引擎,可以通过基于内存来高效处理数据流。2.易用
Spark支持Java、Python和Scala的API,还支持超过80种高级算法,使用户可以快速构建不同的应用。而且Spark支持交互式的Python和Scala的shell,可以非常方便地在这些shell中使用Spark集群来验证解决问题的方法。3. 通用
Spark提供了统一的解决方案。Spark可以用于批处理、交互式查询(Spark SQL)、实时流处理(Spark Streaming)、机器学习(Spark MLlib)和图计算(GraphX)。这些不同类型的处理都可以在同一个应用中无缝使用。Spark统一的解决方案非常具有吸引力,毕竟任何公司都想用统一的平台去处理遇到的问题,减少开发和维护的人力成本和部署平台的物力成本。4. 兼容性
Spark可以非常方便地与其他的开源产品进行融合。比如,Spark可以使用Hadoop的YARN和Apache Mesos作为它的资源管理和调度器,并且可以处理所有Hadoop支持的数据,包括HDFS、HBase和Cassandra等。这对于已经部署Hadoop集群的用户特别重要,因为不需要做任何数据迁移就可以使用Spark的强大处理能力。Spark也可以不依赖于第三方的资源管理和调度器,它实现了Standalone作为其内置的资源管理和调度框架,这样进一步降低了Spark的使用门槛,使得所有人都可以非常容易地部署和使用Spark。此外,Spark还提供了在EC2上部署Standalone的Spark集群的工具。喜欢就点赞评论+关注吧
感谢阅读,希望能帮助到大家,谢谢大家的支持!
相关文章推荐
- spark的RDD五大特点
- spark原理入门详解:包括生态、特点、概念等
- Hadoop, Spark, MPI 三种计算框架的特点以及分别适用于什么样的场景
- Spark 概念学习系列之Spark相比Hadoop MapReduce的特点(二)
- spark产生背景及特点
- spark特点
- Spark Streaming特点
- Spark特点
- Hadoop、Storm和Spark主流分布式系统特点和应用场景
- Spark入门(1-2)Spark的特点、生态系统和技术架构
- 简要描述一下Hadoop, Spark, MPI三种计算框架的特点以及分别适用于什么样的场景
- Spark概述、Spark特点
- Hadoop, Spark, MPI三种计算框架的特点以及分别适用于什么样的场景
- Spark RDD概念学习系列之RDD的5大特点
- spark原理入门详解:包括生态、特点、概念等
- Hadoop, Spark, MPI三种计算框架的特点以及分别适用于什么样的场景
- impala & shark/spark
- Swift的一些特点,重要概念和应用
- Spark平台上的JavaWordCount示例
- spark_updateStateByKey