Hadoop 运行wordcount 实例

一.运行环境

操作系统：ubuntu14.04

hadoop版本：hadoop-2.5.2

二.操作步骤

我在自己电脑上搭建的是hadoop伪分布式的配置，所以wordcount实例只是在一台机器上运行的。

在机器上，我的hadoop 安装目录时/usr/local/hadoop,这里我没有配置环境变量，因此是直接在目录下执行的，首先是进入hadoop安装目录 cd /usr/local/hadoop

1. 格式化文件系统: bin/hadoop namenode -format

2. 开启dfs进程：sbin/start-dfs.sh （也可以启动所有进程）

3. 创建hdfs系统的用户目录：bin/hdfs dfs -mkdir -p /user/hadoop

4. 创建输入hdfs系统输入文件目录：bin/hdfs dfs -mkdir input

5. 创建本地输入文件目录：mkdir local_input

6. 在本地输入文件目录中添加两个文本文件：sudo vim file0.txt file1.txt

7. 将本地文件添加到hdfs输入文件目录中：bin/hadoop dfs -put ./local_input/file*.txt input

8. 运行Hadoop 自带的wordcount 例子：bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcount input output

9. 查看结果：bin/hdfs dfs -cat output/*

三.常见错误

出现无法连接的错误：可能是进程没有启动

出现output文件夹已存在的错误：删除掉上次的文件夹，hdfs -rm -r /user/hadoop/output

出现input文件夹不存在的情况，在输入命令时可以输入全路径：/user/hadoop/input