Ubuntu12.04+hadoop-1.1.2运行wordcount示例
2013-05-30 11:38
441 查看
HADOOP自己带有一些实例,比如wordcount实例实现统计单词在文本文件中的出现次数。下面是实验过程:
下面的命令,都直接是hadoop/bin里的命令,如果在/etc/profile里设置过PATH和CLASSPATH属性了,就可以和我一样省略掉命令路径前缀。
第一步:创建一个目录,作为数据输入源目录。
命令行输入:mkdir input
第二步:在input里创建两个文件,分别为test1 、test2
命令行输入:
cd input
echo "hello world" >test1.txt
echo "i am hadoop, hello">test2.txt
第三步:退回上级目录,把本地input目录复制到HDFS的根目录下,重命名为 in。
命令行输入:cd ../
命令行输入:hadoop dfs -put input in
第三步:执行wordcount实例。注意,我的hadoop的版本是1.1.2,里边的文件名也和以前的版本不一样 hadoop-examples-1.1.2.jar
另外,如果之前执行过这个命令,需要先删除hdfs系统目录里的out目录。
命令行输入:hadoop dfs -rmr out
命令行输入:hadoop jar hadoop-examples-1.1.2.jar wordcount in out
第四步:执行完毕后,可以查看HDFS上的处理结果。
命令行输入: hadoop dfs -cat out/*
另外,也可以把输出文件out从HDFS复制到本地文件系统,
命令行输入:hadoop dfs -get out output
命令行输入:cat output/*
下面的命令,都直接是hadoop/bin里的命令,如果在/etc/profile里设置过PATH和CLASSPATH属性了,就可以和我一样省略掉命令路径前缀。
第一步:创建一个目录,作为数据输入源目录。
命令行输入:mkdir input
第二步:在input里创建两个文件,分别为test1 、test2
命令行输入:
cd input
echo "hello world" >test1.txt
echo "i am hadoop, hello">test2.txt
第三步:退回上级目录,把本地input目录复制到HDFS的根目录下,重命名为 in。
命令行输入:cd ../
命令行输入:hadoop dfs -put input in
第三步:执行wordcount实例。注意,我的hadoop的版本是1.1.2,里边的文件名也和以前的版本不一样 hadoop-examples-1.1.2.jar
另外,如果之前执行过这个命令,需要先删除hdfs系统目录里的out目录。
命令行输入:hadoop dfs -rmr out
命令行输入:hadoop jar hadoop-examples-1.1.2.jar wordcount in out
第四步:执行完毕后,可以查看HDFS上的处理结果。
命令行输入: hadoop dfs -cat out/*
另外,也可以把输出文件out从HDFS复制到本地文件系统,
命令行输入:hadoop dfs -get out output
命令行输入:cat output/*
相关文章推荐
- Hadoop安装配置、运行第一个WordCount示例程序
- Hadoop示例程序WordCount编译运行
- Hadoop系列--Hadoop自带程序wordcount运行示例
- 「hadoop」win7 idea maven hadoop 运行WordCount示例
- eclipse运行hadoop示例程序wordcount的一些问题
- wordcount示例程序运行全过程(Hadoop-1.0.0)
- 配置Hadoop伪分布模式并运行Wordcount示例
- 运行Hadoop示例程序WordCount
- hadoop的example中的wordcount运行示例
- 运行Hadoop的示例程序WordCount-Running Hadoop Example
- 配置Hadoop分布模式并运行Wordcount示例
- hadoop 集群运行WordCount示例程序
- Hadoop 之 配置与运行 wordcount示例
- 在ubuntu12.04+hadoop2.3.0集群上运行WordCount出错
- Hadoop_WordCount示例_运行详解
- IDEA 运行 Hadoop WordCount示例
- hadoop学习(7)—— 使用yarn运行mapreduce一个简单的wordcount示例
- Hadoop示例程序WordCount运行及详解
- Hadoop示例程序WordCount运行及详解
- Hadoop MapReduce示例程序WordCount.java手动编译运行解析