运行在YARN上的MapReduce应用程序(以MapReduce为例)
2014-04-02 15:01
197 查看
client作用: 提交一个应用程序 查看一个应用程序的运行状态(通过application master) 第一步:提交MR程序到ResourceManager,ResourceManager为这个应用程序的ApplicationMaster申请资源,申请到资源后 第二步:与资源对应的NodeManager通信,让其启动MR App Mstr, 第三,四步:MR App Mstr启动起来后,跟RM交互,申请资源,比如拿到的资源在另一个节点 第五,六步:MR App Mstr与资源对应的NodeManager通信来启动Task,Task是放在Container里的 第七步:启动后的Tasks直接与MR App Mstr交互来回报心跳,回报进度 第八步:释放资源 client步骤六:在应用程序运行过程中,client可以直接通过MR App Mstr查询应用程序运行状况。 MapReduce客户端: 1 将MapReduce作业提交到YARN上 2 查询MapReduce作业运行状态 3 管理MapReduce作业,比如杀死MapReduce作业,修改优先级 ApplicationMaster(MRAppMaster) 1 根据描述,将作业分解成Map Task和Reduce Task 2 向ResourceManager为Map/Reduce Task申请资源 3 与NodeManager通信以启动Task 4 监控各个任务运行状态,并在失败时为其重新申请资源
相关文章推荐
- MapReduce扩展:应用程序如何运行于Hadoop Yarn之上
- 大数据 (八)Hadoop-MapReduce 运行环境之 yarn环境搭建
- hadoop初识之三:搭建hadoop环境(配置HDFS,Yarn及mapreduce 运行在yarn)上及三种运行模式(本地模式,伪分布式和分布式介)
- spark on yarn(Job的运行流程,可以对比mapreduce的yarn运行)
- Mapreduce 运行原理(针对使用YARN作为调度和管理的
- Hadoop实践(三)---MapReduce作业运行全貌(YARN)
- Mapreduce 运行原理(针对使用YARN作为调度和管理的版本)
- hadoop的mapreduce运行在yarn上的原理
- Hadoop 2.x环境搭建之三配置部署启动YARN及在YARN上运行MapReduce程序
- MapReduce之如何给运行在YARN上的MapReduce作业配置内存
- 关于yarn平台下mapreduce运行出现的虚拟内存溢出问题
- HDFS设计思路,HDFS使用,查看集群状态,HDFS,HDFS上传文件,HDFS下载文件,yarn web管理界面信息查看,运行一个mapreduce程序,mapreduce的demo
- MapReduce在YARN上的运行流程
- MapReduce1和YARN(MapReduce2)运行机制
- yarn运行mapreduce的工作机制
- MapReduce On yarn运行过程详解
- hadoop学习(7)—— 使用yarn运行mapreduce一个简单的wordcount示例
- hadoop里面的MapReduce和yarn的运行原理
- mapreduce程序在yarn上运行的流程
- 浅谈HDFS和MapReduce-YARN的运行原理