yarn的理解和工作流程
2015-05-24 16:10
260 查看
YARN,它的基本设计思想是将MapReduce中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器 ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和 分配,而ApplicationMaster则负责单个应用程序的管理。
YARN的工作流程:
步骤1 用户向YARN中提交应用程序,其中包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。步骤2 ResourceManager为该应用程序分配第一个Container,并与对应的NodeManager通信,要求它在这个Container中启动应用程序的ApplicationMaster。步骤3 ApplicationMaster首先向ResourceManager注册,这样,用户可以直接通过ResourceManage查看应用程序的运行状态,然后,它将为各个任务申请资源,并监控它的运行状态,直到运行结束,即重复步骤4~7。步骤4 ApplicationMaster采用轮询的方式通过RPC协议向ResourceManager申请和领取资源。步骤5 一旦ApplicationMaster申请到资源后,则与对应的NodeManager通信,要求其启动任务。步骤6 NodeManager为任务设置好运行环境(包括环境变量、jar包、二进制程序等)后,将任务启动命令写到一个脚本中,并通过运行该脚本启动任务。步骤7 各个任务通过某个RPC协议向ApplicationMaster汇报自己的状态和进度,以让ApplicationMaster随时掌握各个任务的运行状态,从而可以在任务失败时重新启动任务。在应用程序运行过程中,用户可随时通过RPC向ApplicationMaster查询应用程序的当前运行状态。步骤8 应用程序运行完成后,ApplicationMaster向ResourceManager注销,并关闭自己。转载地址:http://dongxicheng.org/mapreduce-nextgen/understand-hadoop-yarn-from-os-view/
相关文章推荐
- Yarn二、YARN 工作流程&&MapReduce2架构设计
- Flex:理解全新的Flash Catalyst CS5.5和Flash Builder 4.5工作流程
- nutch的基本工作流程理解
- 如何去理解“DNS服务器”的工作流程
- hadoop yarn的原理和工作流程
- OpenStack:理解GRE隧道的工作流程
- YARN的工作流程
- yarn的工作流程
- git 理解Git的工作流程
- YARN的工作流程
- nutch的基本工作流程理解
- 理解 Git 的工作流程(英文版)
- 【转】理解全新的Flash Catalyst CS5.5和Flash Builder 4.5工作流程
- apache php mysql 怎么理解他们工作流程
- OpenStack 网络总结之:理解GRE隧道的工作流程
- # 理解Gulp:用自动化构建工具增强你的工作流程
- MapReduce总结,不考虑yarn的工作流程。
- OpenStack 网络总结之:理解GRE隧道的工作流程
- Yarn大体框架和工作流程研究
- HTTPS的工作流程的理解