在eclipse上搭建mapreduce开发环境及运行wordcount

1.先说明我的实验环境：

win7,

eclipse版本是Neon.2 Release (4.6.2),

hadoop2.7.3部署在1master，3slave的集群上

2.需要下载winutils.exe和hadoop-eclipse-plugin-2.7.3.jar,下载地址是点击打开链接

3.找到eclipse根目录下的plugins目录，将下载好的hadoop-eclipse-plugin-2.7.3.jar放入该目录下，重启eclipse，打开window-->preferences，发现已经生效。点击window-->show view-->other mapreduce tools-->map/reduce locations增加新的DFS locations。填写原则如下：map/reduce
master填写mapreduce-site.xml的mapreduce.jobtracker的host和port，DFS master填写core-site.xml的dfs.default.name的host和port。





4.将winutils.exe放入本地的hadoop-2.7.3/bin下，并且进行环境变量配置，即建立$HADOOP_HOME,并且将$HADOOP_HOME/bin加入环境变量。以防运行程序后出现找不到/null/winutils.exe的错误。

5.修改集群的hdfs-site.xml文件，增加以下配置项，以防运行程序后出现security.AccessControlException:Permission denied错误。

<property> <name>dfs.permissions</name> <value>false</value> </property>
6.继续，file-->new-->other-->mapreduce project新建项目，在这个地方要记得配置本地电脑上hadoop-2.7.3的安装地址，这样才能找到需要的jar包。点击下图蓝色划线部分进行配置。



7.创建项目之后会出现是否选择一个perspective，点击是，就会出现新工程目录和DFS Locations目录。后者就是对DFS的可视化。mapreduce程序的输入文件，输出文件都可以在这里看到。在D:\Virtual Machines\softwares\hadoop-2.7.3-src\hadoop-mapreduce-project\hadoop-mapreduce-examples\src\main\java\org\apache\hadoop\examples可以拷贝wordcount的源代码。

8.对wordcount.java右键run configuration进行输入参数设置，比如

hdfs://192.168.11.94:8888/input     hdfs://192.168.11.94:8888/outputeclipse，点击run。即可获得输出。