您的位置:首页 > 其它

Map/Reduce执行流程简述

2010-08-14 10:50 309 查看
一、背景
最近总在弄MR的东西,所以写点关于这个方面的内容,总结一下吧
二、流程描述
说实话,文字描述比较苍白,画了个图,贴出来,大家看看,有问题欢迎指出



三、总结
1、值得提出的是,一个map结束就马上会进行分区的操作。并非是等所有的map都结束才做分区的操作。
2、分组的操作是对key的值进行比较分组。(可以是复合key,也可以是单一的key)
3、关于job.setSortComparatorClass(a.class);这个是自定义的比较器,对原有的排序方式进行重写。
4、值得看看Hadoop自带的例子SecondarySort.java这个类。
5、写的不对或有疑问的地方,发邮件交流,dajuezhao@gmail.com
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: