Hadoop Combiner 使用问题
2015-04-04 06:55
267 查看
本想通过combiner减少输入到reduce的数据，但是使用过程中总发生问题。
后来看权威指南，才知道，combiner是会反复调用的，即可能两个combiner一次后，将结果再传给一个combiner；
所以写combiner一定要输入和输出格式相同，并不是同reducer相同就可以，reducer的输入和输出格式是未必相同的。
mapper1 -> combiner1
mapper2-> combiner2
combiner1，combiner2 -> combiner3
combiner3 - >reducer1
后来看权威指南，才知道，combiner是会反复调用的，即可能两个combiner一次后，将结果再传给一个combiner；
所以写combiner一定要输入和输出格式相同，并不是同reducer相同就可以，reducer的输入和输出格式是未必相同的。
mapper1 -> combiner1
mapper2-> combiner2
combiner1，combiner2 -> combiner3
combiner3 - >reducer1
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Hadoop使用常见问题以及解决方法
- Hadoop使用问题集锦
- Hadoop使用常见问题以及解决方法6
- Hadoop使用常见问题以及解决方法（3）
- Hadoop使用常见问题以及解决方法（2）
- Hadoop配置和使用问题记录
- Hadoop使用常见问题以及解决方法（转载）
- Hadoop使用常见问题以及解决方法4
- Hadoop使用常见问题以及解决方法3
- Hadoop使用常见问题以及解决方法（4）
- hadoop使用中出现的问题
- Hadoop 使用Combiner提高Map/Reduce程序效率
- Hadoop使用常见问题以及解决方法（转载）
- Hadoop使用常见问题以及解决方法5
- Hadoop使用常见问题以及解决方法
- Hadoop使用常见问题以及解决方法
- Hadoop使用常见问题以及解决方法
- Hadoop使用常见问题以及解决方法
- 基于hadoop的排序实现以及在hadoop中使用反射会碰到的问题
- Hadoop使用常见问题以及解决方法5