您的位置:首页 > 运维架构

Ubuntu12.04+hadoop-1.1.2运行wordcount示例

2013-05-30 11:38 441 查看
HADOOP自己带有一些实例,比如wordcount实例实现统计单词在文本文件中的出现次数。下面是实验过程:

下面的命令,都直接是hadoop/bin里的命令,如果在/etc/profile里设置过PATH和CLASSPATH属性了,就可以和我一样省略掉命令路径前缀。

第一步:创建一个目录,作为数据输入源目录。

命令行输入:mkdir input

第二步:在input里创建两个文件,分别为test1 、test2

命令行输入:

cd input

echo "hello world" >test1.txt

echo "i am hadoop, hello">test2.txt

第三步:退回上级目录,把本地input目录复制到HDFS的根目录下,重命名为 in。

命令行输入:cd ../

命令行输入:hadoop dfs -put input in

第三步:执行wordcount实例。注意,我的hadoop的版本是1.1.2,里边的文件名也和以前的版本不一样 hadoop-examples-1.1.2.jar

另外,如果之前执行过这个命令,需要先删除hdfs系统目录里的out目录。

命令行输入:hadoop dfs -rmr out

命令行输入:hadoop jar hadoop-examples-1.1.2.jar wordcount in out

第四步:执行完毕后,可以查看HDFS上的处理结果。

命令行输入: hadoop dfs -cat out/*

另外,也可以把输出文件out从HDFS复制到本地文件系统,

命令行输入:hadoop dfs -get out output

命令行输入:cat output/*
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: