YARN:下一代MapReduce的架构
2013-05-29 11:18
218 查看
hadoop0.23版本中,出现了YARN,即MapReduce2.0版本。
与原来mapreduce的明显的差别有:
1. 将jobtracker的两个功能:资源管理和作业调度/监视,分割成几个单独的守护进程。
这样就会有一个全局的资源管理器RM,及很多单独的应用程序控制点ApplicationMaster在每个节点上
资源管理器、每个子节点、节点管理器,就形成了数据计算的框架。资源管理器会协调管理系统中所有的资源。
而每个应用程序作业的AM,会执行和监视任务,并从资源管理器获取资源,并同节点管理器协同工作。其实际上是一个特定的库、框架。
全局资源管理器RM,可以再细分为:调度器、应用程序管理器
调度器的职责是:给各种执行的程序分配资源,它抽象出了资源容器container这样一个概念,其中包括内存、CPU、硬盘、网络等。
应用程序管理器的职责是:跟踪监视程序状态、是否重启失败的程序等。并为应用程序协调到第一个container
节点管理器NM:是每个机器节点的管理程序,其职责包括每个节点的容器,资源使用情况,并报告给资源管理器/调度器。
每个应用程序控制点App Mstr:为调度器协调资源,并跟踪和监视整个程序的状态
MRV2兼容 先前的稳定版hadoop-0.20.205。
参考:http://hadoop.apache.org/docs/r0.23.7/hadoop-yarn/hadoop-yarn-site/YARN.html
与原来mapreduce的明显的差别有:
1. 将jobtracker的两个功能:资源管理和作业调度/监视,分割成几个单独的守护进程。
这样就会有一个全局的资源管理器RM,及很多单独的应用程序控制点ApplicationMaster在每个节点上
资源管理器、每个子节点、节点管理器,就形成了数据计算的框架。资源管理器会协调管理系统中所有的资源。
而每个应用程序作业的AM,会执行和监视任务,并从资源管理器获取资源,并同节点管理器协同工作。其实际上是一个特定的库、框架。
全局资源管理器RM,可以再细分为:调度器、应用程序管理器
调度器的职责是:给各种执行的程序分配资源,它抽象出了资源容器container这样一个概念,其中包括内存、CPU、硬盘、网络等。
应用程序管理器的职责是:跟踪监视程序状态、是否重启失败的程序等。并为应用程序协调到第一个container
节点管理器NM:是每个机器节点的管理程序,其职责包括每个节点的容器,资源使用情况,并报告给资源管理器/调度器。
每个应用程序控制点App Mstr:为调度器协调资源,并跟踪和监视整个程序的状态
MRV2兼容 先前的稳定版hadoop-0.20.205。
参考:http://hadoop.apache.org/docs/r0.23.7/hadoop-yarn/hadoop-yarn-site/YARN.html
相关文章推荐
- 下一代Apache Hadoop MapReduce框架的架构
- [译]下一代的Hadoop Mapreduce – 如何编写YARN应用程序
- 【hadoop 2学习】Hadoop下一代的MapReduce----YARN
- Apache Hadoop下一代MapReduce框架(YARN)简介 (Apache Hadoop NextGen MapReduce (YARN))
- 大数据生态系统基础:Hadoop(七):Hadoop MapReduce 工作原理和 YARN架构
- 新一代mapreduce体系架构介绍-YARN
- 简述下一代mapreduce,yarn或者说是mrv2
- hadoop2.6.0理论:hdfs、yarn、mapreduce的架构
- 新一代mapreduce体系架构介绍-YARN
- 下一代Apache Hadoop MapReduce框架的架构
- 下一代Apache Hadoop MapReduce框架的架构
- CDH 4.6 Apache Hadoop的下一代mapreduce,yarn
- Hadoop-2.2.0中文文档——Apache Hadoop 下一代 MapReduce (YARN)
- MapReduce和Yarn的架构设计
- Hadoop核心架构体系(HDFS+MapReduce+Hbase+Hive+Yarn)
- YARN Apache Hadoop 的下一代MapReduce
- Yarn二、YARN 工作流程&&MapReduce2架构设计
- 下一代Apache Hadoop MapReduce框架的架构
- Apache Hadoop 下一代的MapReduce(YARN)
- 分享:下一代 Hadoop YARN 简介:相比于MRv1,YARN的优势