MapReduce\Tez\Storm\Spark四个框架的异同
2014-01-20 10:20
363 查看
1) MapReduce:是一种离线计算框架,将一个算法抽象成Map和Reduce两个阶段进行
处理,非常适合数据密集型计算。
2) Spark:MapReduce计算框架不适合迭代计算和交互式计算,MapReduce是一种磁盘
计算框架,而Spark则是一种内存计算框架,它将数据尽可能放到内存中以提高迭代
应用和交互式应用的计算效率。
3) Storm:MapReduce也不适合进行流式计算、实时分析,比如广告点击计算等,而
Storm则更擅长这种计算、它在实时性要远远好于MapReduce计算框架。
4)Tez: 运行在YARN之上支持DAG作业的计算框架,对MapReduce数据处理的归纳。它
把Map/Reduce过程拆分成若干个子过程,同时可以把多个Map/Reduce任务组合成一个
较大的DAG任务,减少了Map/Reduce之间的文件存储。同时合理组合其子过程,也可
以减少任务的运行时间。
处理,非常适合数据密集型计算。
2) Spark:MapReduce计算框架不适合迭代计算和交互式计算,MapReduce是一种磁盘
计算框架,而Spark则是一种内存计算框架,它将数据尽可能放到内存中以提高迭代
应用和交互式应用的计算效率。
3) Storm:MapReduce也不适合进行流式计算、实时分析,比如广告点击计算等,而
Storm则更擅长这种计算、它在实时性要远远好于MapReduce计算框架。
4)Tez: 运行在YARN之上支持DAG作业的计算框架,对MapReduce数据处理的归纳。它
把Map/Reduce过程拆分成若干个子过程,同时可以把多个Map/Reduce任务组合成一个
较大的DAG任务,减少了Map/Reduce之间的文件存储。同时合理组合其子过程,也可
以减少任务的运行时间。
相关文章推荐
- rsync 同步数据 - 备份
- python中getattr函数使用方法 getattr实现工厂模式
- php http模拟POST提交上传图片
- 题目1195:最长&最短文本
- 通用功能权限设计(算法超简单)
- C#字符串处理 及字符串格式化
- 实例描述如何用python组件ctypes调用c的dll中的函数
- Modifying
- 监听输入框值的即时变化(兼容Chrome和IE)
- VC各种字符串转换
- poj 2486 Apple Tree(树形DP,状态好纠结。。。)
- iOS中delegate(委托)的使用
- MySQL的mysqldump工具的基本用法
- java String对象的创建(jvm).
- C++中的动态内存与智能指针
- 转:InvokeHelper函数的用法
- 30款精心挑选的JavaScript库和工具(一)
- Phoenix Framework如何为分布式模式批量配置任务
- 每天两道oracle笔试题系列+第五天:1、用于网络连接的两个文件是什么?2、数据库的重做日志(Redo Logs)的作用?
- 软件工程—需求分析