为什么使用Combiner?
2015-06-10 18:33
295 查看
从上面的运行结果我们可以得知,combine具体作用如下:
每一个map可能会产生大量的输出,combiner的作用就是在map端对输出先做一次合并,以减少传输到reducer的数据量。
combiner最基本是实现本地key的归并,combiner具有类似本地的reduce功能。
如果不用combiner,那么,所有的结果都是reduce完成,效率会相对低下。使用combiner,先完成的map会在本地聚合,提升速度。
注意:Combiner的输出是Reducer的输入,Combiner绝不能改变最终的计算结果。所以从我的想法来看,Combiner只应该用于那 种Reduce的输入key/value与输出key/value类型完全一致,且不影响最终结果的场景。比如累加,最大值等。
解释一下
每一个map可能会产生大量的输出,combiner的作用就是在map端对输出先做一次合并,以减少传输到reducer的数据量。
combiner最基本是实现本地key的归并,combiner具有类似本地的reduce功能。
如果不用combiner,那么,所有的结果都是reduce完成,效率会相对低下。使用combiner,先完成的map会在本地聚合,提升速度。
注意:Combiner的输出是Reducer的输入,Combiner绝不能改变最终的计算结果。所以从我的想法来看,Combiner只应该用于那 种Reduce的输入key/value与输出key/value类型完全一致,且不影响最终结果的场景。比如累加,最大值等。
解释一下
问:为什么使用Combiner? 21 * 答:Combiner发生在Map端,对数据进行规约处理,数据量变小了,传送到reduce端的数据量变小了,传输时间变短,作业的整体时间变短。 22 * 23 * 问:为什么Combiner不作为MR运行的标配,而是可选步骤哪? 24 * 答:因为不是所有的算法都适合使用Combiner处理,例如求平均数。 25 * 26 * 问:Combiner本身已经执行了reduce操作,为什么在Reducer阶段还要执行reduce操作哪? 27 * 答:combiner操作发生在map端的,处理一个任务所接收的文件中的数据,不能跨map任务执行;只有reduce可以接收多个map任务处理的数据。
相关文章推荐
- suse 11sp3
- centos/debian配置gitlab 7.1x来搭建自建的git仓库.
- iOS 发送短信 和 发送邮件方法
- [android]完美解决ListView加载网络图片乱跳问题
- JAVA求集合中的组合
- 五、JAVA中类的探究-父子实例的内存控制
- mysql时间从int到可视时间的转换
- oracle 学习之路(一)
- Android PullToRefresh (ListView GridView 下拉刷新) 使用详解
- 绕过 <?PHP exit('Access Denied'); ?> 限制
- C# 文件操作
- jquery 上传图片自由截取
- 循环队列
- 【Android】ContentValues的用法
- POJ 1014 Dividing
- linux ssh port forward
- Android 自定义RecyclerView 实现真正的Gallery效果
- 生产环境日志审计解决方案
- NSNumber 封装成对象
- 黑马程序员——Java基础(常量、变量、数据类型、运算符、键盘录入)