hadoop wordcount程序缺陷
2014-05-28 13:45
134 查看
在wordcount 程序的main函数中,没有读取运行环境中的各种参数的值,全靠hadoop系统的默认参数跑起来,这样做是有风险的,最突出的就是OOM错误。
自己在刚刚学习hadoop编程时,就是模仿wordcount程序编写。在数据量很小,作为demo程序跑,不会有什么问题,但当数据量激增,变成以亿计算时,各种问题都会出现。
所以一定要在main函数中,增加下面的代码,让程序去读取环境配置文件,得到你希望要的参数。
自己在刚刚学习hadoop编程时,就是模仿wordcount程序编写。在数据量很小,作为demo程序跑,不会有什么问题,但当数据量激增,变成以亿计算时,各种问题都会出现。
所以一定要在main函数中,增加下面的代码,让程序去读取环境配置文件,得到你希望要的参数。
Configuration.addDefaultResource("hdfs-default.xml"); Configuration.addDefaultResource("hdfs-site.xml"); Configuration.addDefaultResource("mapred-default.xml"); Configuration.addDefaultResource("mapred-site.xml"); Configuration conf = getConf();
相关文章推荐
- wordcount示例程序运行全过程(Hadoop-1.0.0)
- Hadoop示例程序WordCount详解
- Hadoop:第二个程序操作HDFS -> 【获取Datanode名】【写文件】【WordCount计数】
- Hadoop示例程序WordCount运行及详解
- 用eclipse开发hadoop入门程序wordcount
- Hadoop下的word count程序
- 【hadoop学习】在伪分布式hadoop上实践word count程序——c/c++ pipes版本
- eclipse运行hadoop示例程序wordcount的一些问题
- hadoop平台运行WordCount程序
- 命令行运行hadoop实例wordcount程序
- 对hadoop第一个小程序WordCount的简单解释.
- Hadoop示例程序WordCount详解及实例
- hadoop自带的WordCount程序
- hadoop示例程序wordcount分析
- 改写Hadoop的wordcount程序
- Hadoop的安装与配置及示例程序wordcount的运行
- 【hadoop学习】在伪分布式hadoop上手把手实践word count程序【上】
- 【hadoop学习】在伪分布式hadoop上手把手实践word count程序【下】
- 运行hadoop的WordCount程序——编译,打包,运行
- Eclipse下运行hadoop自带的mapreduce程序--wordcount