使用maven构建hadoop2.6的eclipse源码
2016-11-11 18:14
513 查看
一.工具准备
1.maven bin包,题主这里是apache-maven-3.3.3-bin.zip(官网自行查找)2.jdk,题主这里是jdk1.7..(小版本忽略)
3.protoc,题主这里是protobuf-2.5.0.tar.gz 和 protoc-2.5.0-win32.zip 两个包
4.hadoop源码,题主这里是hadoop-2.6.0-src.tar.gz
二.工具安装
1.maven安装(自行百度windows下maven安装配置)2.protoc安装
(1)将protoc-2.5.0-win32中的protoc.exe拷贝到c:\windows\system32中。
(2)将proto.exe文件拷贝到解压后的XXX\protobuf-2.5.0\src目录中.
(3)进入XXX\protobuf-2.4.1\java 目录 执行maven package命令编辑该包 生成protobuf-java-2.5.0.jar文件(位于target目录中)。
(4)maven package
(5)protoc --version
(6)显示 libprotoc 2.5.0
3.通过maven下载源码
(1)进入hadoop-2.6.0-src\hadoop-maven-plugins,运行mvn install,如果看到结果是 BUILD SUCCESS的话 代表打包成功了
(2)进入D:\hadoop2\hadoop-2.6.0-src目录下,执行mvn eclipse:eclipse -DskipTests,如果看到结果是BUILD SUCCESS的话 代表打包成功了
(完成以上俩步就可以将hadoop-2.6.0-src当成eclipse的项目导入了)
三.项目源码错误解决
1.第一个问题,hadoop-common-project\hadoop-common\src\test\avro的问题
(1)cd D:\hadoop2\hadoop-2.6.0-src\hadoop-common-project\hadoop-common\src\test\avro
(2)java -jar D:\hadoop2\hadoop-2.6.0-src\hadoop-common-project\avro-tools-1.7.7.jar compile schema avroRecord.avsc ../java
(3)右键单击eclipse中的hadoop-common项目,然后refresh。
2.第二个问题,hadoop-common-project\hadoop-common\src\test\proto的问题
(1)cd D:\hadoop2\hadoop-2.6.0-src\hadoop-common-project\hadoop-common\src\test\proto
(2)protoc --java_out=../java *.proto
3.第三个问题,hadoop-streaming项目包缺失
(1)在eclipse中,右键单击hadoop-streaming项目,选择“Properties”,左侧栏选择Java Build Path,然后右边选择Source标签页,注意出错的那个路径(先不要删除)。
(2)点击“Link Source按钮”,选择被链接的目录为“<你的源代码根目录>/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/conf”,链接名可以使用显示的(也可以随便取);
(3)inclusion patterns中添加capacity-scheduler.xml,exclusion patters中添加**/*.java,这个信息与出错的那项一样;完毕后将出错的项删除。刷新hadoop-streaming项目。
本文有参考至:http://blog.csdn.net/u011007180/article/details/52589391
相关文章推荐
- 使用Maven将Hadoop2.2.0源码编译成Eclipse项目
- 使用Maven将Hadoop2.2.0源码编译成Eclipse项目
- 【hadoop】Hadoop学习笔记(八):如何使用Maven构建《hadoop权威指南3》随书的源码包
- 使用Maven将Hadoop2.2.0源码编译成Eclipse项目
- Hadoop学习笔记(八):如何使用Maven构建《hadoop权威指南3》随书的源码包
- 【java】使用eclipse碰到的问题和解决,构建maven的web项目
- 使用Eclipse构建Maven的SpringMVC项目
- 使用Eclipse构建Maven的SpringMVC项目
- 使用Eclipse构建Maven的Web项目
- 如何使用Maven构建《hadoop权威指南3》随书的源码包
- 使用Eclipse构建Maven的SpringMVC项目
- 使用Maven构建eclipse中的web工程
- 使用Eclipse构建Maven的SpringMVC项目
- 使用Eclipse 构建Maven项目
- 使用Eclipse构建Maven的SpringMVC项目
- 使用Eclipse构建Maven的SpringMVC项目
- 使用Eclipse构建Maven的Web项目
- 使用Maven构建eclipse web工程
- 使用Eclipse构建Maven的SpringMVC项目
- 在eclipse3.7中配置hadoop1.0.1插件 Hadoop 源码分析 使用java api操作Hadoop文件