用hadoop运行一个简单程序WordCount
2016-11-24 11:00
375 查看
1、在hadoop目录下面新建两个文件夹,随便输入一些语句
2、在HDFS上创建输入文件夹
呼出终端,输入下面指令(要在/usr/Hadoop/hadoop0.21.0/目录下):bin/hadoop fs -mkdir hdfsInput
执行这个命令时可能会提示类似安全的问题,如果提示了,请使用
bin/hadoop dfsadmin -safemode leave
来退出安全模式。
3. 上传本地file中文件到集群的hdfsInput目录下
在终端依次输入下面指令(f_*表示以f_开头的所有文件):bin/hadoop fs -put file/f_*.txt hdfsInput
4. 运行例子:
在终端输入下面指令(所有jar文件全在/usr/hadoop/hadoop0.21.0目录下面):bin/hadoop jar hadoop-mapred-examples-0.21.0.jar wordcount hdfsInput hdfsOutput
注意,这里的示例程序是0.21.0版本的,可能每个机器有所不一致,那么请用*通配符代替版本号
bin/hadoop jar hadoop--mapred-examples-*.jar wordcount hdfsInput hdfsOutput
应该出现下面结果:
查看HDFS上hdfsOutput目录内容:
在终端输入下面指令:
bin/hadoop fs -ls hdfsOutput
我们的结果在"part-r-00000"中。
使用下面指令查看结果输出文件内容
输出目录日志以及输入目录中的文件是永久存在的,如果不删除的话,如果出现结果不一致,请参考这个因素。
相关文章推荐
- 用hadoop运行一个简单程序WordCount
- 【学习笔记】用Hadoop在MapReduce中WordCount简单程序运行详细流程
- hadoop学习(7)—— 使用yarn运行mapreduce一个简单的wordcount示例
- Eclipse下运行hadoop自带的mapreduce程序--wordcount
- hadoop平台运行WordCount程序
- ubuntu系统下eclipse配置hadoop开发环境并运行wordcount程序
- ubuntu下hadoop运行wordcount程序
- 在windows上用eclipse远程运行hadoop上的wordcount程序出现的问题,求解决
- Hadoop MapReduce示例程序WordCount.java手动编译运行解析
- Hadoop提供了最简单的Map/Reduce编程实例WordCount,本文对该Demo的程序结构,以及Map/Reduce框架的注意事项,进行了分析。
- hadoop hdfs搭建 mapreduce环境搭建 wordcount程序简单注释
- Hadoop4Win + Eclipse 运行 WordCount 程序
- 命令行运行hadoop实例wordcount程序
- 对hadoop第一个小程序WordCount的简单解释.
- Hadoop MapReduce基于新API的WordCount程序运行过程分析
- hadoop实例WordCount程序一步一步运行
- 对hadoop第一个小程序WordCount的简单解释.
- hadoop示例程序wordcount的运行
- 云计算学习笔记006---运行hadoop的例子程序:统计字符--wordcount例子程序
- hadoop初学之WordCount程序一步一步运行