MapReduce 作业的生命周期
2013-06-07 20:01
169 查看
# 最近在看Hadoop技术内幕之深入解析MapReduce架构设计与实现原理一书,可能会把我以为比较重要的知识点或模块通过博客记录下来,留给自己和大家。这本书也是刚刚开始看,加上以前自己对MapReduce的理解,如果有什么错的地方,请大家指出。
今天就说一下MapReduce作业的生命周期,如下图(来自Hadoop技术内幕一书):
当用户 (Application)提交作业后,JobClient 将作业所需要的相关文件上传到HDFS,并通过RPC(远程调用协议)通知 JobTracker
JobTracker 内 的任务调度模块 为作业 创建一个JobInProgress对象,用来跟踪作业的实时运行状况
JobInProgress 为每个 Task 创建一个 TaskInProgress 对象,用来跟踪子任务的运行状态。
TaskTracker 为任务运行准备环境 , 每个TaskTracker可以运行多个Task,TaskTracher会为每个Task启动一个独立的JVM以避免Task之间的相互影响
环境准备完毕后,TaskTracker便会启动Task。
所有的Task执行完毕,MapReudce作业生命周期结束。
谢谢。
今天就说一下MapReduce作业的生命周期,如下图(来自Hadoop技术内幕一书):
当用户 (Application)提交作业后,JobClient 将作业所需要的相关文件上传到HDFS,并通过RPC(远程调用协议)通知 JobTracker
JobTracker 内 的任务调度模块 为作业 创建一个JobInProgress对象,用来跟踪作业的实时运行状况
JobInProgress 为每个 Task 创建一个 TaskInProgress 对象,用来跟踪子任务的运行状态。
TaskTracker 为任务运行准备环境 , 每个TaskTracker可以运行多个Task,TaskTracher会为每个Task启动一个独立的JVM以避免Task之间的相互影响
环境准备完毕后,TaskTracker便会启动Task。
所有的Task执行完毕,MapReudce作业生命周期结束。
谢谢。
相关文章推荐
- hadoop之MapReduce作业的生命周期
- MapReduce 作业的生命周期
- Hadoop技术内幕之MapReduce作业的生命周期
- Hadoop:MapReduce作业的生命周期
- Hadoop MapReduce作业的生命周期
- Hadoop系列--Hadoop核心之MapReduce作业的生命周期
- MapReduce 作业的生命周期
- Spark Core---从作业提交到任务调度完整生命周期浅析
- Yarn源码分析之MRAppMaster上MapReduce作业处理总流程(一)
- 多数据源的MapReduce作业(三)--map侧过滤后在reduce侧联结
- hadoop mapreduce作业提交流程
- MapReduce 作业调试
- 好记性不如烂笔头---MapReduce1作业运行机制
- hadoop MapReduce - 从作业、任务(task)、管理员角度调优
- 安装Eclipse开发Mapreduce作业程序
- 源码剖析MapReduce作业提交机制(本地模式)
- mapreduce作业reduce被大量kill掉
- Spark源码系列(四)图解作业生命周期
- Yarn源码分析之MRAppMaster上MapReduce作业处理总流程(二)
- mapreduce的作业流程