Spark的简介以及入门
2017-02-03 11:40
239 查看
1.hadoop,spark,Flink的比较
MapReduce: 分布式的计算框架 -> Hive
问题:
shuffle:大文件的排序+读写磁盘+网络传输 => 比较慢
只有两种执行算子/API: MapTask(数据转换+过滤)和ReduceTask(数据聚合) ==> 定制化稍微有点差
不适合迭代式的计算
对于需要快速执行的产生结果的应用场景不适合
Spark:为了解决MapReduce执行慢、不适合迭代执行的问题
Flink:类似于spark的基于内存的计算框架
Hadoop的存活:因为使用的机器比较便宜,更适合批量计算。
2.学习方式
spark案例:examples文件夹中
spark源码:一定要回看spark源码,至少常用的必须知道,比如:RDD、SparkContext、DStream....
官网:http://spark.apache.org/
1.6.0帮助文档:http://spark.apache.org/docs/1.6.0/
官方博客:https://databricks.com/blog
3.官网
4.spark特点(在官网的首页)
快
简单/入手快
公用性/普遍性
可以运行在任何地方:local、yarn、standalone(类似于yarn的一个资源管理框架,是spark的一个模块)、mesos(apache顶级项目,类似yarn的一个资源管理框架)
5.spark结构(生态圈)
BDAS: 伯克利数据分析栈
起源:加州大学伯克利分校的AMP实验室开源的一个计算框架
结构:
SparkCore: 核心部分
SparkSQL: Spark中交互式处理模块
SparkStreaming: Spark中流式数据处理的模块
SparkMLib:Spark机器学习相关模块 => Mahout
SparkGraphX: Spark中图形计算的模块
5.Hadoop与Spark的比较
MapReduce: 分布式的计算框架 -> Hive
问题:
shuffle:大文件的排序+读写磁盘+网络传输 => 比较慢
只有两种执行算子/API: MapTask(数据转换+过滤)和ReduceTask(数据聚合) ==> 定制化稍微有点差
不适合迭代式的计算
对于需要快速执行的产生结果的应用场景不适合
Spark:为了解决MapReduce执行慢、不适合迭代执行的问题
Flink:类似于spark的基于内存的计算框架
Hadoop的存活:因为使用的机器比较便宜,更适合批量计算。
2.学习方式
spark案例:examples文件夹中
spark源码:一定要回看spark源码,至少常用的必须知道,比如:RDD、SparkContext、DStream....
官网:http://spark.apache.org/
1.6.0帮助文档:http://spark.apache.org/docs/1.6.0/
官方博客:https://databricks.com/blog
3.官网
4.spark特点(在官网的首页)
快
简单/入手快
公用性/普遍性
可以运行在任何地方:local、yarn、standalone(类似于yarn的一个资源管理框架,是spark的一个模块)、mesos(apache顶级项目,类似yarn的一个资源管理框架)
5.spark结构(生态圈)
BDAS: 伯克利数据分析栈
起源:加州大学伯克利分校的AMP实验室开源的一个计算框架
结构:
SparkCore: 核心部分
SparkSQL: Spark中交互式处理模块
SparkStreaming: Spark中流式数据处理的模块
SparkMLib:Spark机器学习相关模块 => Mahout
SparkGraphX: Spark中图形计算的模块
5.Hadoop与Spark的比较
相关文章推荐
- 服务器并发处理能力——吞吐率
- DOM (文档对象模型(Document Object Model))
- Trafodion 行列转换
- ActiveMQ的消息过滤器(七)
- Socket过程详细解释(包括三次握手建立连接,四次握手断开连接)
- 转-10 个Redis 建议/技巧
- 洛谷 P1541 乌龟棋
- 解决Genymotion出现Unable to load VirtualBox engine
- 第三十六课:经典问题解析三----------狄泰软件学院
- php基于dom实现的图书xml格式数据示例
- VS2015 未找到引用
- 美好的诗词
- 安装matlab弹出 DVD 1 并插入 DVD 2 以继续的问题
- 集成学习---如何增强个体学习器的多样性
- json方式定义Person对象
- 有趣的婚姻,要互相调戏
- Replacement Leaf springs are one of the many suspension parts
- Android BlueDroid分析: OSI中的List与alloctor的实现分析
- 【LeetCode】Merge Two Sorted Lists
- 我的Android 日常开发技术经验 60 条