MapReduce和YARN是什么关系?
2015-12-30 14:24
351 查看
YARN并不是下一代MapReduce(MRv2),下一代MapReduce与第一代MapReduce(MRv1)在编程接口、数据处理引擎(MapTask和ReduceTask)是完全一样的, 可认为MRv2重用了MRv1的这些模块,不同的是资源管理和作业管理系统,MRv1中资源管理和作业管理均是由JobTracker实现的,集两个功能于一身,而在MRv2中,将这两部分分开了, 其中,作业管理由ApplicationMaster实现,而资源管理由新增系统YARN完成,由于YARN具有通用性,因此YARN也可以作为其他计算框架的资源管理系统,不仅限于MapReduce,也是其他计算框架,比如Spark、Storm等, 通常而言,我们一般将运行在YARN上的计算框架称为“X on YARN”,比如“MapReduce On YARN”, "Spark On YARN",“Storm On YARN”等, 关于MapReduce编程接口、数据处理引擎以及第一代资源管理和作业管理的实现。
Hadoop 2.0由三个子系统组成,分别是HDFS、YARN和MapReduce,其中,YARN是一个崭新的资源管理系统,而MapReduce则只是运行在YARN上的一个应用,如果把YARN看成一个云操作系统,那么MapReduce可认为是运行在这个操作系统上的App。
Hadoop 2.0由三个子系统组成,分别是HDFS、YARN和MapReduce,其中,YARN是一个崭新的资源管理系统,而MapReduce则只是运行在YARN上的一个应用,如果把YARN看成一个云操作系统,那么MapReduce可认为是运行在这个操作系统上的App。
相关文章推荐
- JS中的事件冒泡——总结
- 饭卡管理系统学生E-R图
- 【OMNet++】tictoc示例三
- present到带有导航栏的viewController,导航栏会消失的问题
- 关于.html()、.val()、.text()区别,IE6中会出现问题
- HTML5本地存储——IndexedDB(一:基本使用)
- windows安装zabbix_agent
- Linux 下不同目录下文件生成动态库.so
- 常用算法回顾——冒泡排序
- springmvc注解开发-高级之异常处理
- php 框架
- 转-公钥,私钥,SSL(讲的很生动)
- MTK feature phone 射频参数配置
- yum安装zabbix
- [No000075]有没有安全的工作?
- C#常用类(2)-Utils(常用方法)
- 为iPhone 6设计自适应布局-- 详解--内容讲得很不错
- 薛大龙软考班第二期培训感想
- 大神级产品经理和优秀产品经理的区别
- freeswitch lua会议模块