Hadoop系列--Hadoop核心之MapReduce作业的生命周期
2017-08-12 16:13
295 查看
1 执行过程图解
2 步骤详解
2.1 作业提交与初始化
可分为以下步骤:用户提交作业
JobClient实例将作业相关信息(比如程序jar包)上传到分布式文件系统(例如HDFS)
JobClient通过RPC通知JobTracker
JobTracker收到新作业提交请求后,由作业调度模块对作业进行初始化,为作业创建一个JobInProcess对象以跟踪作业运行情况
2.2 任务调度与监控
可分为以下步骤:2.3 任务运行环境准备
2.4 任务执行
相关文章推荐
- Hadoop技术内幕之MapReduce作业的生命周期
- Hadoop:MapReduce作业的生命周期
- 【大数据系列】hadoop核心组件-MapReduce
- hadoop之MapReduce作业的生命周期
- Hadoop MapReduce作业的生命周期
- Hadoop系列--Hadoop核心之MapReduce的原理
- hadoop mapreduce核心功能描述
- Hadoop for .NET Developers(十三):实施更复杂的MapReduce作业
- (大数据之MapReduce) Hadoop作业提交分析(四)
- Thinking in BigData(八)大数据Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解
- 安装Hadoop系列 — 新建MapReduce项目
- Hadoop-2.4.1源码分析--MapReduce作业切片(Split)过程
- 第十一章: Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解
- Hadoop MapReduce编程 API入门系列之分区和合并(十四)
- Hadoop 中的 MapReduce链接作业之预处理和后处理阶段的链接
- MapReduce源码解读系列之——作业如何提交到JobTracker
- MapReduce 作业的生命周期
- Hadoop系列之四:MapReduce进阶
- Hadoop JVM调整解决 MapReduce 作业超时问题
- Hadoop 中的 MapReduce链接作业之预处理和后处理阶段的链接