您的位置:首页 > 运维架构

用hadoop运行一个简单程序WordCount

2016-11-24 11:00 375 查看

1、在hadoop目录下面新建两个文件夹,随便输入一些语句



2、在HDFS上创建输入文件夹

呼出终端,输入下面指令(要在/usr/Hadoop/hadoop0.21.0/目录下):

bin/hadoop fs -mkdir hdfsInput

执行这个命令时可能会提示类似安全的问题,如果提示了,请使用

bin/hadoop dfsadmin -safemode leave

来退出安全模式。

3. 上传本地file中文件到集群的hdfsInput目录下

在终端依次输入下面指令(f_*表示以f_开头的所有文件):

bin/hadoop fs -put file/f_*.txt hdfsInput

4. 运行例子:

在终端输入下面指令(所有jar文件全在/usr/hadoop/hadoop0.21.0目录下面):

bin/hadoop jar hadoop-mapred-examples-0.21.0.jar wordcount hdfsInput hdfsOutput



注意,这里的示例程序是0.21.0版本的,可能每个机器有所不一致,那么请用*通配符代替版本号

bin/hadoop jar hadoop--mapred-examples-*.jar wordcount hdfsInput hdfsOutput

应该出现下面结果:



查看HDFS上hdfsOutput目录内容:

在终端输入下面指令:

bin/hadoop fs -ls hdfsOutput



我们的结果在"part-r-00000"中。

使用下面指令查看结果输出文件内容



输出目录日志以及输入目录中的文件是永久存在的,如果不删除的话,如果出现结果不一致,请参考这个因素。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: