Hadoop YARN的工作流程
2016-12-14 17:40
176 查看
![](http://s5.51cto.com/wyfs01/M02/39/11/wKioJlKlyEvhz2FiAACldr-ZM3M103.jpg)
第一步: 客户端向 ResourceManager 提交自己的应用。
第二步: ResourceManager 向 NodeManager 发出指令,为该应用启动第一个 Container ,并在其中启动 ApplicationMaster。
第三步: ApplicationMaster 向 ResourceManager 注册。
第四步: ApplicationMaster 采用轮询的方式向 ResourceManager 的 YARN Scheduler 申请资源。
第五步: 当 ApplicationMaster 申请到资源后(其实是获取空闲节点的信息),便会与对应的 NodeManager 通信, 请求启动计算任务。
第六步: NodeManager 根据资源量的大小、所需的运行环境,在 Container中启动任务。
第七步: 各个任务向 ApplicationMaster 汇报自己的状态和进度,以便 ApplicationMaster 掌握各个任务的执行状况。
第八步: 应用程序运行完成后,ApplicationMaster 向 ResourceManager 注销并关闭自己。
参考了《Hadoop海量数据处理
技术详解与项目实战(第2版)》
相关文章推荐
- Hadoop之yarn的工作流程
- hadoop-yarn工作大致流程
- Hadoop Yarn的工作流程
- hadoop yarn的原理和工作流程
- Hadoop YARN 的工作流程简述
- Yarn二、YARN 工作流程&&MapReduce2架构设计
- hadoop工作流程分析
- HADOOP 2.0 YARN应用程序的执行流程和开发
- Hadoop源码解析之YARN客户端作业提交流程
- [转]Hadoop YARN任务提交流程
- 王家林 云计算分布式大数据Hadoop实战高手之路第七讲Hadoop图文训练课程:通过HDFS的心跳来测试replication具体的工作机制和流程
- yarn的理解和工作流程
- Hadoop - YARN 启动流程
- 图解向hadoop分布式文件系统写文件的工作流程
- Yarn的基本工作流程
- hadoop yarn的job提交流程源码分析
- YARN基本框架和工作流程
- hadoop大致的工作流程
- MapReduce总结,不考虑yarn的工作流程。
- Hadoop回顾--HDFS工作流程