您的位置:首页 > 运维架构

Hadoop MapReduce 程序执行过程

2016-05-23 16:42 253 查看
1、下图展示了Hadoop MapReduce 并行计算框架上执行一个用户提交的MapReduce程序的过程。



①首先,程序客户端通过作业客户端接口程序JobClient提交一个用户程序。

②然后JobClient先JobTracker提交作业执行请求并获得一个JobID

③JobClient同时也会将用户程序作业和待处理的数据文件信息准备好并存储在HDFS中。

④JobClient正式向JobTracker提交和执行该作业

⑤JobTracker接受并调度该作业,并进行作业的初始化准备工作,根据待处理数据的实际分片情况,调度和分配一定的Map节点来完成作业

⑥JobTracker查询作业中的数据分片信息,构建并准备相应的任务。

⑦JobTracker启动TashTracker节点开始执行具体的任务

⑧TaskTracker根据所分配的具体任务,获取相应的作业数据

⑨TaskTracker节点创建所需要的java虚拟机,并启动相应的Map任务(或Reduce任务)的执行

十TashTracker执行完所分配的任务之后,若是Map任务,则把中间结果数据输出到HDFS中,若是Reduce任务,则输出到最终结果

十一 TaskTracker向JobTracker报告所分配的任务完成,若是Map任务完成并且后去还有Reduce任务,则JobTracker会分配和启动Reduce节点继续处理中结果并输出最终结果。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: