MapReduce和YARN的关系
2015-11-30 21:33
459 查看
YARN并不是下一代MapReduce(MRv2),下一代MapReduce与第一代MapReduce(MRv1)在编程接口、数据处理引擎(MapTask和ReduceTask)是完全一样的, 可认为MRv2重用了MRv1的这些模块,不同的是资源管理和作业管理系统,MRv1中资源管理和作业管理均是由JobTracker实现的,集两个功能于一身,而在MRv2中,将这两部分分开了, 其中,作业管理由ApplicationMaster实现,而资源管理由新增系统YARN完成,由于YARN具有通用性,因此YARN也可以作为其他计算框架的资源管理系统,不仅限于MapReduce,也是其他计算框架,比如Spark、Storm等, 通常而言,我们一般将运行在YARN上的计算框架称为“X on YARN”,比如“MapReduce On YARN”, “Spark On YARN”,“Storm On YARN”等,
相关文章推荐
- Shell基础
- 非递归前序遍历建树并查找首点尾点
- Java SE-最全的单例模式详解
- 【Java】Java之经典循环小例子
- jqGrid 学习笔记--数据异步加载方法(转)
- LeetCode_Best Time to Buy and Sell Stock
- Activity与Fragment交互
- HDU2047
- Linux常用命令
- 数据库 各类连接方式区别
- php cookie&session小记
- 建视图跟查视图
- nginx结合pagespeed
- servlet文件操作——转载
- PAT Basic 1002
- JSP原理
- linux下vi命令大全
- gdb和arm-linux-gdb命令详解
- Toast一直显示不消失的解决办法
- property代码生成