hadoop----eclipse导入hadoop源码
2016-10-18 10:27
232 查看
学习hadoop需要查看源代码,在这里记录eclipse导入源码的过程和问题
首先保证已经安装
jdk ; maven ; protoc(不然编译源码报错下载地址) ; eclipse m2e插件
设置maven镜像
maven\conf\settings.xml
nexus-osc
*
Nexus osc
http://maven.oschina.net/content/groups/public/
导入eclipse
下载源代码代码 解压 (注意解压路径名不要过长)
进入hadoop-maven-plugins目录 执行 mvn install
返回代码根目录 执行 mvn eclipse:eclipse –DskipTests
进入eclipse window 首选项 maven usersetting
选择配置文件D:\apache-maven-3.3.3\conf\settings.xml
选择file import from existing maven project ->选择源码目录
错误处理
导入之后出现了100多个问题 现在按类别处理一下:
1、org.apache.hadoop.io.serializer.avro.TestAvroSerialization
下载 avro-tools-1.7.4.jar
进入目录\hadoop-common-project\hadoop-common\src\test\avro
执行 java -jar 下载目录/avro-tools-1.7.4.jar compile schema avroRecord.avsc ..\java(输出目录)
2、protobuf错误
进入目录\hadoop-common-project\hadoop-common\src\test\proto执行 protoc –java_out=../java *.
3、Maven Project Build Lifecycle Mapping Proble Plugin execution not covered by lifecycle configuration: org.apache.hadoop:hadoop-maven-plugins:2.6.0:protoc
引用1
这个问题是由于m2e插件 在读取pom时识别标签时出错,插件对一些pom标签(pluginManagement/>)的定义格式有要求(好蛋疼)。。。。
在问题窗口选中问题 Ctrl+1 quickfix
选择Permanently mark goal generate in pom.xml as ignored in Eclipse build
在弹出窗口选择最下层目录的文件夹 选择
全部处理之后 问题 提示
Projct configuration is not up-to-date with pom.xml. Run project configuration update
选择 quickfix ->Update project configuration->OK
错误提示消失 这时可以比较pom.xml的先后改动
4、hadoop-streaming中build path错误->Java Build Path->Source:
删除…hadoop-yarn-server-resourcemanager/conf
Link Source:源码根目录/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/conf,再随便起个名字;
下一步 inclusion patterns:capacity-scheduler.xml;
exclusion patters:*/.java
首先保证已经安装
jdk ; maven ; protoc(不然编译源码报错下载地址) ; eclipse m2e插件
设置maven镜像
maven\conf\settings.xml
nexus-osc
*
Nexus osc
http://maven.oschina.net/content/groups/public/
导入eclipse
下载源代码代码 解压 (注意解压路径名不要过长)
进入hadoop-maven-plugins目录 执行 mvn install
返回代码根目录 执行 mvn eclipse:eclipse –DskipTests
进入eclipse window 首选项 maven usersetting
选择配置文件D:\apache-maven-3.3.3\conf\settings.xml
选择file import from existing maven project ->选择源码目录
错误处理
导入之后出现了100多个问题 现在按类别处理一下:
1、org.apache.hadoop.io.serializer.avro.TestAvroSerialization
下载 avro-tools-1.7.4.jar
进入目录\hadoop-common-project\hadoop-common\src\test\avro
执行 java -jar 下载目录/avro-tools-1.7.4.jar compile schema avroRecord.avsc ..\java(输出目录)
2、protobuf错误
进入目录\hadoop-common-project\hadoop-common\src\test\proto执行 protoc –java_out=../java *.
3、Maven Project Build Lifecycle Mapping Proble Plugin execution not covered by lifecycle configuration: org.apache.hadoop:hadoop-maven-plugins:2.6.0:protoc
引用1
这个问题是由于m2e插件 在读取pom时识别标签时出错,插件对一些pom标签(pluginManagement/>)的定义格式有要求(好蛋疼)。。。。
在问题窗口选中问题 Ctrl+1 quickfix
选择Permanently mark goal generate in pom.xml as ignored in Eclipse build
在弹出窗口选择最下层目录的文件夹 选择
全部处理之后 问题 提示
Projct configuration is not up-to-date with pom.xml. Run project configuration update
选择 quickfix ->Update project configuration->OK
错误提示消失 这时可以比较pom.xml的先后改动
4、hadoop-streaming中build path错误->Java Build Path->Source:
删除…hadoop-yarn-server-resourcemanager/conf
Link Source:源码根目录/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/conf,再随便起个名字;
下一步 inclusion patterns:capacity-scheduler.xml;
exclusion patters:*/.java
相关文章推荐
- eclipse导入hadoop-1.2.1源码
- Hadoop源码导入Eclipse
- Eclipse 导入Hadoop 2.6.0 源码
- hadoop----eclipse导入hadoop源码
- 导入hadoop 1.2.1源码到eclipse
- 把hadoop源码导入到eclipse中遇到的问题
- Ubuntu14.04 编译 hadoop2.6.0源码以及把源码导入eclipse
- eclipse中导入hadoop源码
- hadoop2.5.2学习及实践笔记(二)—— 编译源代码及导入源码至eclipse
- 将Hadoop 2.6.0源码导入到Eclipse
- 如何导入hadoop源码到eclipse
- hadoop源码导入到eclipse后程序报错,sun.net.util.IPAddressUtil这个类找不到与之应的jar包
- 企业级Hadoop 2.x入门系列之三将Hadoop 2.x源码导入Eclipse中
- hadoop源码导入eclipse
- Eclipse导入Hadoop源码项目
- Eclipse 导入 Hadoop 源码
- 琐碎-将hadoop源码作为工程导入eclipse
- hadoop-2.6.0-src源码导入Eclipse
- Hadoop1.x目录结构及Eclipse导入Hadoop源码项目
- Hadoop源码导入Eclipse