08_运行hadoop提供的示例程序
2018-02-04 16:32
417 查看
通过上篇文章,我们已经搭建好了整个hadoop体系。我们都知道,hadoop由三大组建:
(1)HDFS集群:负责海量数据的存储,集群中的角色主要有 NameNode / DataNode/SecondaryNameNode。
(2)YARN集群:负责海量数据运算时的资源调度,集群中的角色主要有 ResourceManager /NodeManager
(3)MapReduce:它其实是一个应用程序开发包。
接下来,我们通过hadoop提供的实例程序来体会一下hadoop的功能。并由此验证我们的整个hadoop体系是否能够正常运行。
该示例程序的主要作用时统计HDFS上的某个文件中每个单词出现的次数。
1 在master上新建一个文本文档:input.txt
文件内容:
2 使用文件上传命令,将该文件上传到hdfs存储的input目录下。
3 查找需要运行的实例程序
4 运行wordcount程序
此时在浏览器查看8088端口,我们可以看到
其中ID:当前运行应用的ID,State:Running
之后出现
state变为Finished
此时在在浏览器在查看50070端口
进入对应的countoutput目录
当看到_SUCCESS时,表示程序运行成功
点击Download查看结果
(1)HDFS集群:负责海量数据的存储,集群中的角色主要有 NameNode / DataNode/SecondaryNameNode。
(2)YARN集群:负责海量数据运算时的资源调度,集群中的角色主要有 ResourceManager /NodeManager
(3)MapReduce:它其实是一个应用程序开发包。
接下来,我们通过hadoop提供的实例程序来体会一下hadoop的功能。并由此验证我们的整个hadoop体系是否能够正常运行。
该示例程序的主要作用时统计HDFS上的某个文件中每个单词出现的次数。
1 在master上新建一个文本文档:input.txt
vi input.txt
文件内容:
2 使用文件上传命令,将该文件上传到hdfs存储的input目录下。
hadoop fs -put ./input.txt /input
3 查找需要运行的实例程序
find /usr/local/hadoop -name *example*.jar
4 运行wordcount程序
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount /input/input.txt /countoutput
此时在浏览器查看8088端口,我们可以看到
其中ID:当前运行应用的ID,State:Running
之后出现
state变为Finished
此时在在浏览器在查看50070端口
进入对应的countoutput目录
当看到_SUCCESS时,表示程序运行成功
点击Download查看结果
相关文章推荐
- Hadoop MapReduce示例程序WordCount.java手动编译运行解析
- 运行Hadoop的示例程序WordCount-Running Hadoop Example
- Hadoop示例程序WordCount运行及详解
- wordcount示例程序运行全过程(Hadoop-1.0.0)
- hadoop提供了一个跑在yarn上的示例,可以运行
- 运行Spark提供的计算圆周率的示例程序
- hadoop示例程序wordcount的运行
- eclipse运行hadoop示例程序wordcount的一些问题
- Hadoop示例程序WordCount运行及详解
- Hadoop示例程序WordCount编译运行
- Hadoop示例程序WordCount运行及详解
- Hadoop MapReduce示例程序WordCount.java手动编译运行解析
- 运行hadoop自己提供的示例时,提示input文件夹不存在的解决方案
- Hadoop安装配置、运行第一个WordCount示例程序
- hadoop 集群运行WordCount示例程序
- Hadoop系列--Hadoop自带程序wordcount运行示例
- Hadoop示例程序WordCount编译运行
- Hadoop的安装与配置及示例程序wordcount的运行
- 运行Hadoop示例程序WordCount
- 修改马敏钊mmz-asio4delphi,使其能在Delphi Xe2 运行示例程序-End