hadoop 0.20.2 wordcount 示例
2013-03-21 14:41
435 查看
在安装hadoop 之前一定要先安装免登陆的 ssh.可以参看安装ssh 的例子。http://blog.csdn.net/liuc0317/article/details/8621879
安装 hadoop 伪分布式 参看 http://blog.csdn.net/liuc0317/article/details/8613586
写这篇blog 是见解 http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.html 的例子
接下来我们开始学习hadoop 为给我们提供的 wordcount 的例子。
第一步:查看一下 hadoop给我们提供了哪些命令,和哪些例子。
进入hadoop 的目录下, cd hadoop 0.20.2
然后运行 ./bin/hadoop 见图h-jar.jpg
有一个 -jar 的命令
再接着运行 ./bin/hadoop jar hadoop-0.20.2-examples.jar 见图h-wordcount
这就是我们hadoop的 wordcount(类似于java 的helloword)
第二步:我们按示例的要求提供一个输入的input 和一个输出的output
首先:在当前用户下创建一个file文件夹 mkdir file
进行 file 文件夹 创建两个文件 file01.txt 和file02.txt
cd file,touch file01.txt,touch file02.txt
可以使用gedit 可是 vi 给他们添上内容。 见图hfile.jpg
第三步:在hadoop file system 上创建一个 上传文件夹 input
./bin/hadoop fs -mkdir input
第四步:把file文件夹下的两个文件上传到 新建的input文件夹下,并且显示input下的文件。
./bin/hadoop fs -put ~/file/file*.txt input
./bin/hadoop fs -ls input
见hinput.jpg
第五步:运行hadoop 给我们提供的示例,见图h07.jpg
./bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input output
解释一下这个命令 ./bin/hadoop jar 运行一个jar 的命令 示例为 hadoop-0.20.2-examples.jar 名字叫 wordcount 输入文件夹是input 输出是 output文件夹
看一下运行的最后结果:
安装 hadoop 伪分布式 参看 http://blog.csdn.net/liuc0317/article/details/8613586
写这篇blog 是见解 http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.html 的例子
接下来我们开始学习hadoop 为给我们提供的 wordcount 的例子。
第一步:查看一下 hadoop给我们提供了哪些命令,和哪些例子。
进入hadoop 的目录下, cd hadoop 0.20.2
然后运行 ./bin/hadoop 见图h-jar.jpg
有一个 -jar 的命令
再接着运行 ./bin/hadoop jar hadoop-0.20.2-examples.jar 见图h-wordcount
这就是我们hadoop的 wordcount(类似于java 的helloword)
第二步:我们按示例的要求提供一个输入的input 和一个输出的output
首先:在当前用户下创建一个file文件夹 mkdir file
进行 file 文件夹 创建两个文件 file01.txt 和file02.txt
cd file,touch file01.txt,touch file02.txt
可以使用gedit 可是 vi 给他们添上内容。 见图hfile.jpg
第三步:在hadoop file system 上创建一个 上传文件夹 input
./bin/hadoop fs -mkdir input
第四步:把file文件夹下的两个文件上传到 新建的input文件夹下,并且显示input下的文件。
./bin/hadoop fs -put ~/file/file*.txt input
./bin/hadoop fs -ls input
见hinput.jpg
第五步:运行hadoop 给我们提供的示例,见图h07.jpg
./bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input output
解释一下这个命令 ./bin/hadoop jar 运行一个jar 的命令 示例为 hadoop-0.20.2-examples.jar 名字叫 wordcount 输入文件夹是input 输出是 output文件夹
看一下运行的最后结果:
相关文章推荐
- hadoop 0.20.2 wordcount 示例
- Hadoop示例程序WordCount详解及实例 .
- Hadoop MapReduce示例程序WordCount.java手动编译运行解析
- Hadoop示例程序WordCount运行及详解
- Hadoop的安装与配置及示例程序wordcount的运行
- windows10上使用Eclipse配置Hadoop开发环境详细步骤+WordCount示例
- 配置Hadoop分布模式并运行Wordcount示例
- hadoop示例程序wordcount分析
- hadoop 集群运行WordCount示例程序
- Hadoop WordCount 单词计数示例详细演示
- Hadoop示例程序WordCount详解及实例
- hadoop - hadoop2.6 伪分布式 - eclipse 中 配置 和 示例 wordcount
- Hadoop2.4.1中wordcount示例程序测试过程
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-配置Hadoop伪分布模式并运行Wordcount示例(1)
- hadoop完全分布式配置+wordcount示例(ubuntu14.04+hadoop2.6.0)
- Hadoop示例程序WordCount运行及详解
- Hadoop入门-WordCount示例
- 运行Hadoop示例程序WordCount
- Hadoop示例程序WordCount详解及实例
- Hadoop示例程序WordCount详解及实例(转)