Map/Reduce执行流程简述
2010-08-14 10:50
309 查看
一、背景
最近总在弄MR的东西,所以写点关于这个方面的内容,总结一下吧
二、流程描述
说实话,文字描述比较苍白,画了个图,贴出来,大家看看,有问题欢迎指出
三、总结
1、值得提出的是,一个map结束就马上会进行分区的操作。并非是等所有的map都结束才做分区的操作。
2、分组的操作是对key的值进行比较分组。(可以是复合key,也可以是单一的key)
3、关于job.setSortComparatorClass(a.class);这个是自定义的比较器,对原有的排序方式进行重写。
4、值得看看Hadoop自带的例子SecondarySort.java这个类。
5、写的不对或有疑问的地方,发邮件交流,dajuezhao@gmail.com
最近总在弄MR的东西,所以写点关于这个方面的内容,总结一下吧
二、流程描述
说实话,文字描述比较苍白,画了个图,贴出来,大家看看,有问题欢迎指出
三、总结
1、值得提出的是,一个map结束就马上会进行分区的操作。并非是等所有的map都结束才做分区的操作。
2、分组的操作是对key的值进行比较分组。(可以是复合key,也可以是单一的key)
3、关于job.setSortComparatorClass(a.class);这个是自定义的比较器,对原有的排序方式进行重写。
4、值得看看Hadoop自带的例子SecondarySort.java这个类。
5、写的不对或有疑问的地方,发邮件交流,dajuezhao@gmail.com
相关文章推荐
- Map/Reduce执行流程
- Map/Reduce执行流程
- Hadoop Map/Reduce执行全流程关键代码
- map/reduce执行流程
- 转载 Map/Reduce执行流程
- 第九篇:Map/Reduce 工作机制分析 - 作业的执行流程
- map-reduce任务的执行流程
- map-reduce任务的执行流程
- hadoop 一个Job多个MAP与REDUCE的执行
- map-reduce流程
- Spark sc.textFile(...).map(...).count() 执行完整流程
- Hadoop MapReduce执行过程详解及MR中job参数及设置map和reduce的个数(带hadoop例子)
- Hadoop - Map/Reduce 通过理解org.apache.hadoop.mapreduce.Job类来学习hadoop的执行逻辑
- 实现每个Map或Reduce任务只执行一次map或reduce方法
- 遇到问题---hadoop---reduce执行时又重新map
- hadoop 一个Job多个MAP与REDUCE的执行
- hadoop 中map、reduce数量对mapreduce执行速度的影响
- hadoop map 与reduce 的流程
- map-reduce的八个流程
- map-reduce的八个流程