在Windows8.1下配置Hadoop2.7.0的源代码阅读环境
2015-08-22 12:38
288 查看
前提是你已经配置好了JDK,这里笔者用的是JDK 1.8,JDK的配置方法网上有很多,这里不再赘述。
一、 如果没有Maven和Protoc,第一步需要先配置这两项,如果已经配置好的可跳过。
1.配置Maven
(1)在http://maven.apache.org/download.cgi下载Maven,这里我们使用的是Maven3.2.5
解压到任意路径后,配置环境变量:
1.变量名:M2_HOME
2.变量值:解压的路径,我这里就是D:\HadoopTools\apache-maven-3.2.5
在Path中加入:D:\HadoopTools\apache-maven-3.2.5\bin (注意是你自己的解压路径下的bin文件夹),注意在Path前带上分号。
打开命里提示符,输入mvn –v,如果出现以下的消息就表示Maven配置成功了。
2.配置protoc
需要protobuf-2.5.0.tar.gz 和 protoc-2.5.0-win32.zip 两个包,已经打包好,可以到这里下载:
http://download.csdn.net/detail/chinamcafee/8761191
下载后打开解压包有两个,分别再将这两个包解压到两个不同的目录下
将protoc-2.5.0-win32中的protoc.exe拷贝到c:\windows\system32中。并将其拷贝到源码包的src目录下,如下图所示(即将protoc.exe同时拷贝到两个位置)。
从命令提示符进入路径D:\HadoopTools\protobuf-2.5.0\java下,执行mvn package命令,Maven会开始工作,如以下两图所示:
编译的时间可能会有些长,当看到如下信息,并且java的target目录下也多出来了一个protobuf-java-2.5.0.jar文件,就表示成功了。
这时准备工作已经就绪,可以开始获取Hadoop的完整源码了。
二、 获取Hadoop的完整源码包(通过Maven方式)
先把我们从Hadoop官网上下载的hadoop-2.7.0-src.tar.gz解压
同样使用命令提示符进入D:\HadoopTools\hadoop-2.7.0-src\hadoop-maven-plugins目录下,执行mvn install命令
时间仍然会比较长,如果看到这样的提示语则表明成功
从命令提示符返回到上一级目录,即hadoop-2.7.0-src下,执行命令
mvn eclipse:eclipse –DskipTests
程序会下载一些所需的文件,如果看到如下的信息,则表明Hadoop的完整源码包已经下载成功
然后就可以在Eclipse里面像导入一个普通已有工程一样导入Hadoop源码了
会有一些报错,解决方案如下:
1、Hadoop-common包报错:
下载官网编译好的Hadoop-2.7.0二进制包hadoop-2.7.0.tar.gz,将share\hadoop\common下的三个jar包解压出来,如下图所示添加到哦Eclipse工程中,或来这里下载:http://download.csdn.net/detail/chinamcafee/8761335
2、有感叹号:
删除…hadoop-yarn-server-resourcemanager/conf
Link Source:源码根目录/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/conf,再随便起个名字;inclusion patterns:capacity-scheduler.xml;exclusion patters:*/.java
至此工程中的全部错误应该都会消失,可以开始阅读源码了。
一、 如果没有Maven和Protoc,第一步需要先配置这两项,如果已经配置好的可跳过。
1.配置Maven
(1)在http://maven.apache.org/download.cgi下载Maven,这里我们使用的是Maven3.2.5
解压到任意路径后,配置环境变量:
1.变量名:M2_HOME
2.变量值:解压的路径,我这里就是D:\HadoopTools\apache-maven-3.2.5
在Path中加入:D:\HadoopTools\apache-maven-3.2.5\bin (注意是你自己的解压路径下的bin文件夹),注意在Path前带上分号。
打开命里提示符,输入mvn –v,如果出现以下的消息就表示Maven配置成功了。
2.配置protoc
需要protobuf-2.5.0.tar.gz 和 protoc-2.5.0-win32.zip 两个包,已经打包好,可以到这里下载:
http://download.csdn.net/detail/chinamcafee/8761191
下载后打开解压包有两个,分别再将这两个包解压到两个不同的目录下
将protoc-2.5.0-win32中的protoc.exe拷贝到c:\windows\system32中。并将其拷贝到源码包的src目录下,如下图所示(即将protoc.exe同时拷贝到两个位置)。
从命令提示符进入路径D:\HadoopTools\protobuf-2.5.0\java下,执行mvn package命令,Maven会开始工作,如以下两图所示:
编译的时间可能会有些长,当看到如下信息,并且java的target目录下也多出来了一个protobuf-java-2.5.0.jar文件,就表示成功了。
这时准备工作已经就绪,可以开始获取Hadoop的完整源码了。
二、 获取Hadoop的完整源码包(通过Maven方式)
先把我们从Hadoop官网上下载的hadoop-2.7.0-src.tar.gz解压
同样使用命令提示符进入D:\HadoopTools\hadoop-2.7.0-src\hadoop-maven-plugins目录下,执行mvn install命令
时间仍然会比较长,如果看到这样的提示语则表明成功
从命令提示符返回到上一级目录,即hadoop-2.7.0-src下,执行命令
mvn eclipse:eclipse –DskipTests
程序会下载一些所需的文件,如果看到如下的信息,则表明Hadoop的完整源码包已经下载成功
然后就可以在Eclipse里面像导入一个普通已有工程一样导入Hadoop源码了
会有一些报错,解决方案如下:
1、Hadoop-common包报错:
下载官网编译好的Hadoop-2.7.0二进制包hadoop-2.7.0.tar.gz,将share\hadoop\common下的三个jar包解压出来,如下图所示添加到哦Eclipse工程中,或来这里下载:http://download.csdn.net/detail/chinamcafee/8761335
2、有感叹号:
删除…hadoop-yarn-server-resourcemanager/conf
Link Source:源码根目录/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/conf,再随便起个名字;inclusion patterns:capacity-scheduler.xml;exclusion patters:*/.java
至此工程中的全部错误应该都会消失,可以开始阅读源码了。
相关文章推荐
- 详解HDFS Short Circuit Local Reads
- Hadoop_2.1.0 MapReduce序列图
- 使用Hadoop搭建现代电信企业架构
- 单机版搭建Hadoop环境图文教程详解
- [转][源代码]Comex公布JailbreakMe 3.0源代码
- LCL.VBS 病毒源代码
- hadoop常见错误以及处理方法详解
- php查看网页源代码的方法
- hadoop 单机安装配置教程
- hadoop的hdfs文件操作实现上传文件到hdfs
- hadoop实现grep示例分享
- Lua中的源代码预编译浅析
- android private libraries 中的包源代码添加方法
- Apache Hadoop版本详解
- linux下搭建hadoop环境步骤分享
- hadoop client与datanode的通信协议分析
- hadoop中一些常用的命令介绍
- Hadoop单机版和全分布式(集群)安装
- 用PHP和Shell写Hadoop的MapReduce程序
- hadoop map-reduce中的文件并发操作