hadoop pipes模式中combiner的使用
2013-11-16 21:47
204 查看
和streaming模式不同,pipes模式中提供的接口没有直接的Combiner Class定义,但是在他的TemplateFactory头文件中有一个
因此只需要简单改写下常见的调用方式
return HadoopPipes::runTask(HadoopPipes::TemplateFactory4<WordCountMap, WordCountReduce,void,WordCountCombine>());
其中WordCountCombine类的定义就按照WordCountReduce一样的方式继承就行了,实际上就是一个Reducer。
template <class mapper, class reducer, class partitioner, class combiner, class recordReader> class TemplateFactory<mapper, reducer, partitioner, combiner, recordReader, void> : public TemplateFactory5<mapper,reducer,partitioner,combiner,recordReader>{ };
因此只需要简单改写下常见的调用方式
return HadoopPipes::runTask(HadoopPipes::TemplateFactory4<WordCountMap, WordCountReduce,void,WordCountCombine>());
其中WordCountCombine类的定义就按照WordCountReduce一样的方式继承就行了,实际上就是一个Reducer。
相关文章推荐
- Hadoop 使用Combiner提高Map/Reduce程序效率
- Hadoop中Combiner的使用
- Hadoop实战:使用Combiner提高Map/Reduce程序效率
- Hadoop Combiner 使用问题
- 如何使用Spark的local模式远程读取Hadoop集群数据
- Hadoop中Combiner的使用
- Hadoop中Combiner的使用
- Hadoop 使用combiner提升性能
- Hadoop中Combiner的使用
- 【hadoop 2.6】hadoop2.6伪分布模式环境的搭建测试使用
- Spark2.1.0 + CarbonData1.0.0+hadoop2.7.2集群模式部署及使用入门
- [Nutch]Hadoop单机伪分布式模式的使用(deploy)
- Hadoop(十六)之使用Combiner优化MapReduce【转载】
- 使用docker搭建hadoop环境,并配置伪分布式模式
- Hadoop Combiner使用方法详解
- Hadoop 使用Combiner提高Map/Reduce程序效率
- hadoop——Map/Reduce中combiner的使用
- [Script] Hadoop使用docker搭建完全分布模式环境的脚本
- (2) hadoop 配置部署启动HDFS及本地模式运行MapReduce案例(使用HDFS上数据)
- Hadoop环境搭建之二配置启动HDFS及本地模式运行MapReduce案例(使用HDFS上数据)