Hadoop2.x的Eclipse插件编译与安装
2015-06-16 16:05
471 查看
Eclipse的Hadoop插件在开发hadoop应用程序中可以提供一些很方便的操作,可以直接Eclipse中浏览HDFS上的文件,可以直接新建选择MapReduce项目,项目自动包含所有需要的hadoop jar包,不必再手动拷贝。
一、安装Ant工具
Ant是一种Java的项目打包管理工具,类似于Maven,操作比Maven简单。本次Eclipse Hadoop插件使用Ant进行编译,如果本机已安装Ant,请略过这一步骤。
1、下载Ant
到官网(http://ant.apache.org/bindownload.cgi)下载最新的Ant包,本实验版本:apache-ant-1.9.5-bin.zip。
2、配置环境变量
1) Windows:① 环境变量新增:ANT_HOME=D:\apache-ant-1.9.5;② classpath新增:%ANT_HOME%\lib;③ path新增:%ANT_HOME%\lib。
2) Linux:① /etc/profile新增:export ANT_HOME=/usr/local/ant;② 执行命令:source /etc/profile。
验证安装:ant -version
二、使用ant编译插件
1、下载hadoop2.x插件
https://github.com/hduhans/hadoop2x-eclipse-plugin-master
2、开始编译
1) 打开命令行,进入插件解压后src/contrib/eclipse-plugin目录中;
2) 执行编译命令:ant jar -Dversion=2.6.0 -Declipse.home=D:\desktop\eclipse -Dhadoop.home=D:\desktop\hadoop-2.6.0;
其中Declipse.home为ecipse根目录,Dhadoop.home为hadoop根目录。
3) 等待编译成功,出现如下“BUILD SUCCESSFUL”提示文字,说明编译成功;
编译成功的jar包位于:build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.6.0.jar
三、在Eclipse中添加编译生成的jar插件
1、将编译后的 build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.6.0.jar 拷贝到 eclipse/plugins 目录中,重启eclipse;
2、在eclipse菜单中选择 windows → show view → other ,在弹出的对话框中选择“Map/Reduce Locations”,点击确定;
3、在控制台的“Map/Reduce Locations”页签空白处点击右键,选择“New Hadoop location”,填写参数,如下所示:
图2.1 New Hadoop location参数填写说明
其中Map/Reduce Master的端口地址该怎么填写,网上大都资料为hadoop1.x的mapred.job.tracker的端口号,但在hadoop2.x中已使用yarn来代替jobtracker,猜测这里填写mapreduce.jobtracker.http.address的端口值50030,也有资料说填写dfs.datanode.ipc.address端口值50020,具体填写何值有待进一步确认。
3、打开 Windows → Hadoop Map/Reduce ,右侧选择hadoop2.6所在路径:D:\desktop\hadoop-2.6.0;
4、打开 Windows → show view → other ,选择“Project Explorer”,可以在 DFS Locations 中看到HDFS的目录结构;
图2.2 Eclipse Hadoop插件浏览HDFS目录
5、新建MapReduce项目,打开 New → Project ,选择“Map/Reduce Project”,输入项目名即可,项目创建后会自动导入hadoop下所需的jar包。
一、安装Ant工具
Ant是一种Java的项目打包管理工具,类似于Maven,操作比Maven简单。本次Eclipse Hadoop插件使用Ant进行编译,如果本机已安装Ant,请略过这一步骤。
1、下载Ant
到官网(http://ant.apache.org/bindownload.cgi)下载最新的Ant包,本实验版本:apache-ant-1.9.5-bin.zip。
2、配置环境变量
1) Windows:① 环境变量新增:ANT_HOME=D:\apache-ant-1.9.5;② classpath新增:%ANT_HOME%\lib;③ path新增:%ANT_HOME%\lib。
2) Linux:① /etc/profile新增:export ANT_HOME=/usr/local/ant;② 执行命令:source /etc/profile。
验证安装:ant -version
二、使用ant编译插件
1、下载hadoop2.x插件
https://github.com/hduhans/hadoop2x-eclipse-plugin-master
2、开始编译
1) 打开命令行,进入插件解压后src/contrib/eclipse-plugin目录中;
2) 执行编译命令:ant jar -Dversion=2.6.0 -Declipse.home=D:\desktop\eclipse -Dhadoop.home=D:\desktop\hadoop-2.6.0;
其中Declipse.home为ecipse根目录,Dhadoop.home为hadoop根目录。
3) 等待编译成功,出现如下“BUILD SUCCESSFUL”提示文字,说明编译成功;
编译成功的jar包位于:build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.6.0.jar
三、在Eclipse中添加编译生成的jar插件
1、将编译后的 build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.6.0.jar 拷贝到 eclipse/plugins 目录中,重启eclipse;
2、在eclipse菜单中选择 windows → show view → other ,在弹出的对话框中选择“Map/Reduce Locations”,点击确定;
3、在控制台的“Map/Reduce Locations”页签空白处点击右键,选择“New Hadoop location”,填写参数,如下所示:
图2.1 New Hadoop location参数填写说明
其中Map/Reduce Master的端口地址该怎么填写,网上大都资料为hadoop1.x的mapred.job.tracker的端口号,但在hadoop2.x中已使用yarn来代替jobtracker,猜测这里填写mapreduce.jobtracker.http.address的端口值50030,也有资料说填写dfs.datanode.ipc.address端口值50020,具体填写何值有待进一步确认。
3、打开 Windows → Hadoop Map/Reduce ,右侧选择hadoop2.6所在路径:D:\desktop\hadoop-2.6.0;
4、打开 Windows → show view → other ,选择“Project Explorer”,可以在 DFS Locations 中看到HDFS的目录结构;
图2.2 Eclipse Hadoop插件浏览HDFS目录
5、新建MapReduce项目,打开 New → Project ,选择“Map/Reduce Project”,输入项目名即可,项目创建后会自动导入hadoop下所需的jar包。
相关文章推荐
- 接口测试-自动化-Java实现-CommonClass
- java web 项目log 配置 (将log 和hibernate的hql/sql 信息打印到控制台和日志文件中)
- 项目搭建系列之一:使用Maven搭建SpringMVC项目
- 在mac中导入hadoop2.6.0源代码至eclipse
- Java程序结束运行的原因
- Java并发编程-13-在集合点的同步-CyclicBarrier
- java的二维数组中如何计算行数和列数?
- 各种排序算法的分析及java实现
- 【JAVA编码专题】JAVA字符编码系列一:Unicode,GBK,GB2312,UTF-8概念基础
- 【JAVA编码】 JAVA字符编码系列二:Unicode,ISO-8859,GBK,UTF-8编码及相互转换
- 【JAVA编码专题】 JAVA字符编码系列三:Java应用中的编码问题
- 【JAVA编码专题】UNICODE,GBK,UTF-8区别
- 【JAVA编码专题】深入分析 Java 中的中文编码问题
- 【JAVA编码专题】总结
- Java中的日期操作
- eclipse gradle插件配置
- myeclipse安装插件方法
- 在Eclipse中运行hadoop程序
- 在Eclipse中运行Nutch2.3
- 接口测试-自动化-Java实现-InterfaceTest