hadoop的eclipse插件编译整理

1、Hadoop源代码下载、eclipse下载、jdk、Ant下载

2、eclipse导入hadoop工程

3、修改build.xml 与build-contrib.xml 配置文件

4、解决出现的相关错误与异常问题

5、编译、安装、检查

-------------------------------------------------------------------------------------------------------------------------------------------------

下载地址：以下软件都为64位

Eclipse：
http://yunpan.cn/QIIKcHbAjeMxh
Jdk1.7：
http://yunpan.cn/QIIKcHbAjeMxh
Hadoop-1.0.0:
http://yunpan.cn/QIIKmEG7TVcjR
Ant :
http://yunpan.cn/QIIK3RnbcvvyL
1、在Eclipse中选择File-->Import-->Existing Projects into Workspace导入已有项目，假设路径为：

/download/hadoop-1.0.1/src/contrib/eclipse-plugin，默认的项目名称是MapReduceTools

2、默认项目名称为MapReduceTools，然后在项目MapReduceTools中新建lib目录，并把hadoop的hadoop-core、commons-cli-1.2.jar、commons-lang-2.4.jar、commons-configuration-1.6.jar、jackson-mapper-asl-1.0.1.jar、jackson-core-asl-1.0.1.jar、commons-httpclient-3.0.1.jar拷贝到该目录。

3、修改build-contrib.xml （将\src\contrib下的build-contrib.xml文件拷贝到MapReduceTools项目根目录底下。）

<property name="version" value="1.0.1"/>

<property name="hadoop.root" location="/download/develop/hadoop-1.0.1"/>

<property name="eclipse.home" location="/download/eclipse" />

4、修改build.xml

---

<import file="build-contrib.xml"/>

---

<target name="jar" depends="compile" unless="skip.contrib">

<mkdir dir="${build.dir}/lib"/>

<copy file="${hadoop.root}/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose="true"/>

<copy file="${hadoop.root}/lib/commons-cli-1.2.jar" todir="${build.dir}/lib" verbose="true"/>

<copy file="${hadoop.root}/lib/commons-lang-2.4.jar" todir="${build.dir}/lib" verbose="true"/>

<copy file="${hadoop.root}/lib/commons-configuration-1.6.jar" todir="${build.dir}/lib" verbose="true"/>

<copy file="${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/>

<copy file="${hadoop.root}/lib/jackson-core-asl-1.8.8.jar" todir="${build.dir}/lib" verbose="true"/>

<copy file="${hadoop.root}/lib/commons-httpclient-3.0.1.jar" todir="${build.dir}/lib" verbose="true"/>

<jar

jarfile="${build.dir}/hadoop-${name}-${version}.jar"

manifest="${root}/META-INF/MANIFEST.MF">

<fileset dir="${build.dir}" includes="classes/ lib/"/>

<fileset dir="${root}" includes="resources/ plugin.xml"/>

</jar>

</target>

5、解决问题：Could not find file \hadoop\hadoop-1.0.0\hadoop-core-${version}.jar to copy

将

<target name="compile" depends="init">

<javac srcdir="${src}" destdir="${dest}" />


</target>

修改为：

<javac srcdir="${src}" destdir="${dest}" includeantruntime="on" />

6、解决 错误: 程序包org.apache.hadoop.fs不存在.....

<path id="hadoop-jars">

<fileset dir="${hadoop.root}/">

<include name="hadoop-*.jar"/>

</fileset>

</path>

在<path id="classpath">中添加：<path refid="hadoop-jars"/>

7、解决：Warning: Could not find file /hadoop/hadoop-1.0.0/build/hadoop-core-1.0.0.jar to copy. (不是必须)

将build.xml 中的 ${version}替换成具体的版本号，如：1.0.0

8、最后是编译：有三种方法可以进行编译：

1）eclipse导出式

右键选择项目-->Export，类型选择JAR file，把plugin.xml文件、classes目录、lib目录和resources目录选上，选择导出的jar目录，即可导出hadoop-eclipse-plugin-1.0.0.jar文件

2）eclipse 的ant编译式

MapReduceTools工程下的build.xml 右键-〉Run As->Ant Build

3）cmd下ant编译时

cmd下进入到 \src\contrib\eclipse-plugin 下：

执行： ant -Declipse.home=D:/eclipse -Dversion=1.0.0

9、插件安装：

关闭eclipse，

将生成后的hadoop-eclipse-plugin-1.0.0.jar (默认在hadoop-1.0.0\build\contrib\eclipse-plugin 下)，放到eclipse/plugin目录下面，启动eclipse。

10、检查是否安装成功：

打开Windows->Open
Perspective->Other->如果有Map/Reduce则成功 或者是在 project explorer中看到 DFS
Locations





参考：

http://my.oschina.net/HIJAY/blog/190840
http://blog.csdn.net/zhqingyun163/article/details/8148711
《Hadoop技术内幕》