HADOOP MR架构分析（二） MapTask 和 ReduceTask
2013-04-28 18:10
183 查看
接着（一）
UNIXProcess调用系统bash程序，以org.apache.hadoop.mapred.Child为Mainclass来执行。
Child会根据Task的类型执行MapTask和ReduceTask， 并借助Reflection来调用用户自定义的Mapper类，但用户自定义的Reducer类是直接调用的。
（未完待续）
本文出自 “技术人生” 博客，请务必保留此出处http://edwardli.blog.51cto.com/6959665/1189464
UNIXProcess调用系统bash程序，以org.apache.hadoop.mapred.Child为Mainclass来执行。
Child会根据Task的类型执行MapTask和ReduceTask， 并借助Reflection来调用用户自定义的Mapper类，但用户自定义的Reducer类是直接调用的。
（未完待续）
本文出自 “技术人生” 博客，请务必保留此出处http://edwardli.blog.51cto.com/6959665/1189464
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- HADOOP MR架构分析（二） MapTask 和 ReduceTask
- HADOOP MR架构分析（二） MapTask 和 ReduceTask
- Hadoop的MapReduce之maptask和reducetask
- Hadoop 1.x的Task，ReduceTask，MapTask随想
- hadoop获取job信息，maptask，reducetask获取信息，hadoop监控job执行状况（cdh4.2 ）
- MapReduce工作机制详解（MapTask和ReduceTask)
- Hadoop源代码分析（MapTask）
- eror---at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.init
- Hadoop MapReduce之MapTask任务执行（一）
- Hadoop MapTask/ReduceTask各阶段耗费时间的测试
- Hadoop源码分析（MapTask辅助类，II）
- hadoop错误Ignoring exception during close for org.apache.hadoop.mapred.MapTask$NewOutputCollector@17bda0f2 java.io.IOException Spill failed
- Unable to initialize MapOutputCollector org.apache.hadoop.mapred.MapTask$MapOutputBuffer java.lang.C
- Hadoop深入学习：MapTask详解
- Hadoop MapReduce之MapTask任务执行（二）
- Hadoop中MapTask的并行度的决定机制
- Ignoring exception during close for org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader@
- Hadoop进阶之MR中MapTask并行度决定机制及切片机制
- hadoop错误org.apache.hadoop.mapred.MapTask$NewOutputCollector@17bda0f2
- Hadoop深入学习：MapTask详解