hadoop 1.2.1 eclipse 插件安装步骤
2014-12-29 21:22
423 查看
之前在Centos配置eclipse的Hadoop插件时,在最后一步使用ant命令会卡在运行过程中,或者报错,参考了网上的的编译过程之后,最后终于也是成功配置好了,这里是参考的链接地址http://kangfoo.u.qiniudn.com/article/2013/12/hadoop-eclipse-plugin-1.2.1/,以下内容是根据原文作者的步骤,加上自己在安装过程中的一些补充。
(2)在eclipse进行开发代码会更加方便
2.下载并配置ant环境
添加环境变量
3.安装好eclipse
4.在使用ant命令时,需要保证能连接的网络
1.修改build-contrib.xml
此文件在/home/hadoop/hadoop-1.2.1/src/contrib路径下面
修改hadoop.root值为实际的hadoop根目录
添加eclipse依赖
设置版本号
启动javac.deprecation(将value的值由off修改成on)
ant 1.8+ 版本需要额外的设置javac includeantruntime=“on” 参数
2.修改build-contrib.xml
此文件在/home/hadoop/hadoop-1.2.1/src/contrib/eclipse-plugin目录下
添加文件路径hadoop-jars
将hadoop-jars添加到classpath
添加或修改额外的jar依赖,找到<!-- Override jar target to specify manifest -->,修改target中name为
jar 中的 copy file 的路径,具体如下:
3.修改MANIFEST.MF
此文件在/home/hadoop/hadoop-1.2.1/src/contrib/eclipse-plugin/META-INF路径下
修改Bundle-ClassPath这一行
4.新建直接打包并部署jar到eclipse/plugin目录的target
修改文件build.xml,此文件在/home/hadoop/
添加target直接将编译的插件拷贝到eclipse插件目录
将ant默认target default=“java"改为default=“deploy”
5.通过ant工具编译
6.配置eclipse
若虚拟机内存不够,需要修改eclipse目录下面的eclipse.ini文件,我修改后的文件如下:
配置hadoop安装目录
打开eclipse,步骤Window->Preferences,左侧目录树中选择Hadoop
Map/Reduce,在选项框中填/home/hadoop/hadoop-1.2.1
配置Map/Reduce Locations
步骤Window->Show View->Other,在弹出来的选项框中选择Map/Reduce Locations
在下方点选右键->New Hadoop Location
eclipse的hadoop插件作用
(1)在eclipse中提供一个HDFS文件系统的目录树,可以直接进行创建,删除,上传文件等操作(2)在eclipse进行开发代码会更加方便
安装前准备
1.配置java环境2.下载并配置ant环境
添加环境变量
export ANT_HOME=/usr/local/apache-ant-1.8.0 export PATH=$ANT_HOME/bin:$PATH
3.安装好eclipse
4.在使用ant命令时,需要保证能连接的网络
安装步骤
相对路径hadoop-1.2.1/...表示Hadoop安装后的目录,而我安装Hadoop放在/home/hadoop/hadoop-1.2.1这个路径中,具体路径自身根据安装时目录而定。1.修改build-contrib.xml
此文件在/home/hadoop/hadoop-1.2.1/src/contrib路径下面
修改hadoop.root值为实际的hadoop根目录
<property name="hadoop.root" location="/home/hadoop/hadoop-1.2.1"/>
添加eclipse依赖
<property name="eclipse.home" location="/home/hadoop/eclipse" />
设置版本号
<property name="version" value="1.2.1"/>
启动javac.deprecation(将value的值由off修改成on)
<property name="javac.deprecation" value="on"/>
ant 1.8+ 版本需要额外的设置javac includeantruntime=“on” 参数
<!-- ====================================================== --> <!-- Compile a Hadoop contrib's files --> <!-- ====================================================== --> <target name="compile" depends="init, ivy-retrieve-common" unless="skip.contrib"> <echo message="contrib: ${name}"/> <javac encoding="${build.encoding}" srcdir="${src.dir}" includes="**/*.java" destdir="${build.classes}" debug="${javac.debug}" deprecation="${javac.deprecation}" includeantruntime="on"> <classpath refid="contrib-classpath"/> </javac> </target>
2.修改build-contrib.xml
此文件在/home/hadoop/hadoop-1.2.1/src/contrib/eclipse-plugin目录下
添加文件路径hadoop-jars
<path id="hadoop-jars"> <fileset dir="${hadoop.root}/"> <include name="hadoop-*.jar"/> </fileset> </path>
将hadoop-jars添加到classpath
<path id="classpath"> <pathelement location="${build.classes}"/> <pathelement location="${hadoop.root}/build/classes"/> <path refid="eclipse-sdk-jars"/> <path refid="hadoop-jars"/> </path>
添加或修改额外的jar依赖,找到<!-- Override jar target to specify manifest -->,修改target中name为
jar 中的 copy file 的路径,具体如下:
<copy file="${hadoop.root}/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose="true"/> <copy file="${hadoop.root}/lib/commons-cli-${commons-cli.version}.jar" tofile="${build.dir}/lib/commons-cli.jar" verbose="true"/> <copy file="${hadoop.root}/lib/commons-configuration-1.6.jar" tofile="${build.dir}/lib/commons-configuration.jar" verbose="true"/> <copy file="${hadoop.root}/lib/commons-httpclient-3.0.1.jar" tofile="${build.dir}/lib/commons-httpclient.jar" verbose="true"/> <copy file="${hadoop.root}/lib/commons-lang-2.4.jar" tofile="${build.dir}/lib/commons-lang.jar" verbose="true"/> <copy file="${hadoop.root}/lib/jackson-core-asl-1.8.8.jar" tofile="${build.dir}/lib/jackson-core-asl.jar" verbose="true"/> <copy file="${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar" tofile="${build.dir}/lib/jackson-mapper-asl.jar" verbose="true"/>
3.修改MANIFEST.MF
此文件在/home/hadoop/hadoop-1.2.1/src/contrib/eclipse-plugin/META-INF路径下
修改Bundle-ClassPath这一行
Bundle-ClassPath: classes/,lib/commons-cli.jar,lib/commons-httpclient.jar,lib/hadoop-core.jar,lib/jackson-mapper-asl.jar,lib/commons-configuration.jar,lib/commons-lang.jar,lib/jackson-core-asl.jar
4.新建直接打包并部署jar到eclipse/plugin目录的target
修改文件build.xml,此文件在/home/hadoop/
hadoop-1.2.1
/src/contrib/eclipse-plugin路径下
添加target直接将编译的插件拷贝到eclipse插件目录
<target name="deploy" depends="jar" unless="skip.contrib"> <copy file="${build.dir}/hadoop-${name}-${version}.jar" todir="${eclipse.home}/plugins" verbose="true"/> </target>
将ant默认target default=“java"改为default=“deploy”
<project default="deploy" name="eclipse-plugin">
5.通过ant工具编译
ant -f ./hadoop-1.2.1/src/contrib/eclipse-plugin/build.xml
6.配置eclipse
若虚拟机内存不够,需要修改eclipse目录下面的eclipse.ini文件,我修改后的文件如下:
--launcher.XXMaxPermSize 128m --launcher.defaultAction openFile --launcher.appendVmargs -vmargs -Dosgi.requiredJavaVersion=1.6 -XX:MaxPermSize=128m -Xms40m -Xmx256m
配置hadoop安装目录
打开eclipse,步骤Window->Preferences,左侧目录树中选择Hadoop
Map/Reduce,在选项框中填/home/hadoop/hadoop-1.2.1
配置Map/Reduce Locations
步骤Window->Show View->Other,在弹出来的选项框中选择Map/Reduce Locations
在下方点选右键->New Hadoop Location
相关文章推荐
- eclipse hadoop 插件安装步骤
- Eclipse中hadoop2.7.1的插件下载及安装步骤
- eclipse安装hadoop插件
- 彻底解决hadoop-0.20.203.0-eclipse-plugin插件安装
- hadoop eclipse plugin插件安装问题
- hadoop 1.2.1 eclipse 插件编译
- 自己动手安装高版本hadoop-eclipse插件
- eclipse安装hadoop插件
- Eclipse安装Hadoop插件的问题
- 安装eclipse插件后,run on hadoop没有反映的解决办法
- eclipse安装hadoop插件及配置
- hadoop eclipse 插件 安装
- hadoop学习(mac 上安装 hadoop伪分布式以及hadoop的eclipse插件)
- eclipse中配置hadoop开发环境-----删除之前版本的hadoop插件、编译hadoop eclipse插件、安装插件、eclipse下运行hadoop程序
- 在eclipse下安装开发hadoop程序的插件
- 安装hadoop-0.20.2并安装eclipse插件
- 在Eclipse 安装hadoop插件的问题
- Ubuntu 下安装Eclipse的Hadoop 1.0.0版本的插件
- Linux下Hadoop Eclipse插件编译安装
- Hadoop-eclipse-plugin插件安装