Ubuntu下使用eclipse搭建Hadoop开发环境

Ubuntu下使用eclipse搭建Hadoop开发环境

注意：此处安装的eclipse是在Ubuntu系统下

相较于在windows下eclipse开发hadoop项目，在ubuntu下的安装及操作更为简单，如下将提供具体的操作步骤。

准备工具

Ubuntu，且以安装hadoop（http://blog.csdn.net/qq_36743482/article/details/78025852）

Linux版本eclipse（官方地址：https://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/release/oxygen/1/eclipse-java-oxygen-1-linux-gtk-x86_64.tar.gz）

eclipse-hadoop插件下载地址（http://download.csdn.net/download/qq_36743482/10006279）

安装eclipse（注：只需在DataNode中安装即可）

1.将下载的文件：eclipse-java-oxygen-1-linux-gtk-x86_64.tar.gz拖入到Ubuntu中

如无法拖入，应该是没安装vmware tools，安装方法：4.3

http://blog.csdn.net/qq_36743482/article/details/78025852

2.解压到安装目录

一般usr目录用于软件安装

创建目录：mkdir /usr/local/eclipse

将压缩文件解压到eclipse中

tar zxvf eclipse-java-oxygen-1-linux-gtk-x86_64.tar.gz -C /usr/local/eclipse

eclipse文件夹中添加引导

sudo ln -sf $JRE_HOME jre

对于我的是

sudo ln -sf /usr/local/jdk1.8.0_144/jre jre

会多出一个jre文件

如果不添加引导会如下错误信息：

A Java Runtime Environment (JRE) or Java Development Kit (JDK)
must be available in order to run Eclipse. No Java virtual machine
was found after searching the following locations:
/某某路径/eclipse/jre/bin/java
java in your current PATH

双击eclipse，可以运行。

创建桌面快捷方式

1.UBuntu的菜单图标保存在/usr/share/applications目录下，所以先在该目录下建一个eclipse.desktop文件

sudo vim /usr/share/applications/eclipse.desktop

2.在文件中输入以下内容

[Desktop Entry]
Encoding=UTF-8
Name=Eclipse Platfrom          //图标名字，可改
Comment=Eclipse IDE
Exec=/usr/local/eclipse/eclipse      //Eclipse文件夹下eclipse的路径
Icon=/usr/local/eclipse/icon.xpm    //Eclipse文件夹下图标icon.xpm的路径
Terminal=false
StartupNotify=true
Type=Application
Categories=Application;Development;

3.对该文件进行赋权

sudo chmod u+x /usr/share/applications/eclipse.desktop

4.发现多出了eclipse的图标了，双击可运行，复制到桌面就可以

scp /usr/share/applications/eclipse.desktop  /home/hadoop/Desktop/

eclipse-hadoop插件安装

1.直接放在eclipse的plugin文件夹中即可

2.配置eclipse

启动

1. window->Preference->左侧Hadoop Map/Reduce->右侧browse ,选择Hadoop的安装目录



然后在eclipse的window选项卡下找到show view->other->选择Map/Reduce Tool下的Map/Reduce Location即可





3. 同时，最好将Project Explorer 的View也选中，这时，在Project Explorer中可以看到一个DFS Location的文件夹，Hadoop的HDFS文件系统的文件都会显示在这里，之后我们开发就不用使用命令行向HDFS中拷贝文件了，直接在这里拷贝就行。

3.连接hadoop

首先保证Hadoop已经正常运行起来。

start-dfs.sh即可，并通过jps查看运行的服务。

在Map/Reduce Location的view中右键new hadoop location，在弹出窗口中配置如下信息