Hadoop学习之Eclipse构建Hadoop项目
2014-05-07 16:34
260 查看
之前根据Hadoop官方文档对HDFS、MapReduce的架构、配置管理等进行了学习,但某些地方官方文档讲解的比较模糊。做过开发的人都能够体会,官方文档有些类似业务规则或者要求,而真正的细节还是需要深入研究源代码的。基于以上的原因,决定深入学习Hadoop的源代码,虽然现在已经出现Hadoop-2.x的文档版本,但还是决定学习Hadoop-1.x的源码,而要想研究源代码最好的方法还是先构建Hadoop项目,然后根据代码的执行进行跟踪调试。所以这篇文章主要介绍了如何在Eclipse下构建Hadoop项目。
首先在Eclipse下新建Hadoop项目。具体步骤为在File菜单下选择New子菜单,然后选择Project菜单,出现下图所示的提示框,在该提示框中选择Java Project并点击Next按钮进行下一步。
在接下来的对话框中输入项目的名字,例如hadoop-1.2.1,并选择要使用的JRE,其余的可以保持默认,点击Next按钮进入下一个对话框。
在弹出的对话框中不做任何修改,点击Finish按钮完成新项目的建立。
至此,已经完成了Java项目的建立,但该项目下暂时没有任何代码文件,第二步就是要拷贝Hadoop的源文件到该项目中。将Hadoop部署目录下src文件夹中的core、hdfs、mapred、tools文件拷贝到上述新建项目中的src下,然后在上述项目上右键单击,在弹出的菜单中选择Build Path,再选择Configure Build Path,弹出下图所示的对话框。
在该对话框中点击Add Folder按钮,出现下图的对话框,在下图中选择core、hdfs、mapred和tools,然后点击OK按钮,会返回到上图的对话框,此时会报错,需要在上图中选择src,然后点击右侧的Remove按钮。
做完上述的操作后的对话框如下所示,现在完成了添加源文件的工作,第三步则是添加Hadoop需要的jar文件。
在上述项目上右键单击,在弹出的菜单中选择Build Path,再选择Configure Build Path,在弹出的对话框中点击Libraries标签,如下图所示:
点击上图右侧的Add External JARs按钮,会弹出选择JAR文件的文件选择框,这时可以选择Hadoop部署根目录及lib文件夹中JAR文件,完成该操作后的对话框如下,点击OK按钮完成添加JAR文件到项目路径的工作。
这时RccTask.java会提示下图的错误信息,这是由于项目路径中缺少ant.jar文件所致,如何添加可以参考上面讲述的添加jar文件的步骤。将ant.jar文件添加到路径中后,错误信息消失,Hadoop项目已经成功构建完毕。
首先在Eclipse下新建Hadoop项目。具体步骤为在File菜单下选择New子菜单,然后选择Project菜单,出现下图所示的提示框,在该提示框中选择Java Project并点击Next按钮进行下一步。
在接下来的对话框中输入项目的名字,例如hadoop-1.2.1,并选择要使用的JRE,其余的可以保持默认,点击Next按钮进入下一个对话框。
在弹出的对话框中不做任何修改,点击Finish按钮完成新项目的建立。
至此,已经完成了Java项目的建立,但该项目下暂时没有任何代码文件,第二步就是要拷贝Hadoop的源文件到该项目中。将Hadoop部署目录下src文件夹中的core、hdfs、mapred、tools文件拷贝到上述新建项目中的src下,然后在上述项目上右键单击,在弹出的菜单中选择Build Path,再选择Configure Build Path,弹出下图所示的对话框。
在该对话框中点击Add Folder按钮,出现下图的对话框,在下图中选择core、hdfs、mapred和tools,然后点击OK按钮,会返回到上图的对话框,此时会报错,需要在上图中选择src,然后点击右侧的Remove按钮。
做完上述的操作后的对话框如下所示,现在完成了添加源文件的工作,第三步则是添加Hadoop需要的jar文件。
在上述项目上右键单击,在弹出的菜单中选择Build Path,再选择Configure Build Path,在弹出的对话框中点击Libraries标签,如下图所示:
点击上图右侧的Add External JARs按钮,会弹出选择JAR文件的文件选择框,这时可以选择Hadoop部署根目录及lib文件夹中JAR文件,完成该操作后的对话框如下,点击OK按钮完成添加JAR文件到项目路径的工作。
这时RccTask.java会提示下图的错误信息,这是由于项目路径中缺少ant.jar文件所致,如何添加可以参考上面讲述的添加jar文件的步骤。将ant.jar文件添加到路径中后,错误信息消失,Hadoop项目已经成功构建完毕。
相关文章推荐
- Hadoop_2.1.0 MapReduce序列图
- 使用Hadoop搭建现代电信企业架构
- MyEclipse Web Project转Eclipse Dynamic Web Project
- Windows Clang开发环境备忘
- 单机版搭建Hadoop环境图文教程详解
- [转][源代码]Comex公布JailbreakMe 3.0源代码
- LCL.VBS 病毒源代码
- hadoop常见错误以及处理方法详解
- 让Flex Builder 3.0与Eclipse3.4整合起来
- 使用zend studio for eclipse不能激活代码提示功能的解决办法
- ext for eclipse插件安装方法
- 解决Fedora14下eclipse进行android开发,ibus提示没有输入窗口的方法详解
- eclipse导入jquery包后报错的解决方法
- Eclipse 格式化代码时不换行与自动换行的实现方法
- Eclipse下jQuery文件报错出现错误提示红叉
- eclipse如何忽略js文件报错(附图)
- eclipse3.2.2 + MyEclipse5.5 + Tomcat5.5.27 配置数据库连接池
- jquery库或JS文件在eclipse下报错问题解决方法
- 什么是eclipse,eclipse的意思解析
- Zend Studio for Eclipse的java.lang.NullPointerException错误的解决方法