Hadoop 1.x的Task,ReduceTask,MapTask随想
2015-05-14 21:05
134 查看
Hadoop的技术体系,最令人称赞的是细节。它的基本原理是非常容易理解的,细节是魔鬼。
hadoop的hdfs是文件系统存储,它有三类节点namenode, scondraynamenode, datanode,前两种在集群分别只有一个节点,而datanode在集群有很多个。hdfs的解耦做的非常好,以至于它可以单独运行,做一个海量数据的文件存储系统。它可以跟mapreduce分别运行。
对mapreduce任务来说,它有两类节点, jobtracker,tasktracker。前者每个集群之后一个,后者有许多个。顾名思义,tasktracker就是运行任务task。task有两种,maptask和reducertask。
一个mapreduce任务job,要做拆分,拆分成若干个inputsplit。每个inputsplit对应一个maptask。maptask执行完,将结果传给reducetask。然后reduecetask处理后将最终结果输出到hdfs存储。
MapTask和ReducerTask的基类是抽象类Task,它们在抽象的层次上近似,只是处理数据的流程不同。每个tasktracker节点可以同时运行这两种task。
这里有复杂的细节。tasktracker和jobtracker通过远程rpc的方式进行心跳服务。心跳服务调用会带上各种信息,有些是tasktracker报告自己的状态和任务执行情况,有些是jobtracker在应答里让tasktracker执行任务,不一而足。
每个job有jobid,拆分成若干个maptask和reducertask之后,又有taskid。每个maptask执行结束,将结果写入hdfs,又通过http的方式传递给reducertask。
于是:
1. 一切通讯由远程rpc调用实现。
2. hdfs是存储,可单独运行。
3. mapreduce是分布式计算,它使用hdfs。
4. task是节点计算的核心。
5. 大量的细节实现以保证可靠性和稳定性。
hadoop的hdfs是文件系统存储,它有三类节点namenode, scondraynamenode, datanode,前两种在集群分别只有一个节点,而datanode在集群有很多个。hdfs的解耦做的非常好,以至于它可以单独运行,做一个海量数据的文件存储系统。它可以跟mapreduce分别运行。
对mapreduce任务来说,它有两类节点, jobtracker,tasktracker。前者每个集群之后一个,后者有许多个。顾名思义,tasktracker就是运行任务task。task有两种,maptask和reducertask。
一个mapreduce任务job,要做拆分,拆分成若干个inputsplit。每个inputsplit对应一个maptask。maptask执行完,将结果传给reducetask。然后reduecetask处理后将最终结果输出到hdfs存储。
MapTask和ReducerTask的基类是抽象类Task,它们在抽象的层次上近似,只是处理数据的流程不同。每个tasktracker节点可以同时运行这两种task。
这里有复杂的细节。tasktracker和jobtracker通过远程rpc的方式进行心跳服务。心跳服务调用会带上各种信息,有些是tasktracker报告自己的状态和任务执行情况,有些是jobtracker在应答里让tasktracker执行任务,不一而足。
每个job有jobid,拆分成若干个maptask和reducertask之后,又有taskid。每个maptask执行结束,将结果写入hdfs,又通过http的方式传递给reducertask。
于是:
1. 一切通讯由远程rpc调用实现。
2. hdfs是存储,可单独运行。
3. mapreduce是分布式计算,它使用hdfs。
4. task是节点计算的核心。
5. 大量的细节实现以保证可靠性和稳定性。
相关文章推荐
- HADOOP MR架构分析(二) MapTask 和 ReduceTask
- Hadoop MapTask/ReduceTask各阶段耗费时间的测试
- Hadoop的MapReduce之maptask和reducetask
- Hadoop MapTask/ReduceTask各阶段耗费时间的测试
- hadoop获取job信息,maptask,reducetask获取信息,hadoop监控job执行状况(cdh4.2 )
- HADOOP MR架构分析(二) MapTask 和 ReduceTask
- HADOOP MR架构分析(二) MapTask 和 ReduceTask
- hadoop之failed task和killed task
- hive创建表失败:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.
- hadoop之failed task和killed task
- MapTask与ReduceTask深入分析与调优
- hadoop日志【7】----Task process exit with nonzero status of 65
- MapReduce工作机制详解(MapTask和ReduceTask)
- 如何对hadoop作业的某个task进行debug单步跟踪
- Hive连接Mysql---FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.
- Hive On Spark报错:Failed to execute spark task, org.apache.hadoop.hive.ql.metadata.HiveException
- Hadoop进阶之MR中MapTask并行度决定机制及切片机制
- Hadoop jobTracker taskTracker 与task 的联系
- Java 中执行Hive QL 语句时报return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask
- Hadoop MapReduce之ReduceTask任务执行(三)