ubuntu 14.04 hadoop eclipse 初级环境配置

接触hadoop第二天，配置hadoop到环境也用了两天，将自己配置的过程写在这里，希望对大家有所帮助！

我将文中用到的所有资源都分享到了  这里，点开就能下载，不需要一个个的找啦！

其中有《Hadoop 技术内幕》这本书，第一章讲述了这个配置过程，但是不详细~

---------------安装jdk-------------------------------

1.

下载jdk1.6.0_45

2.解压到opt文件夹下，配置/etc/profile，在文件尾部加上

#set java environment

JAVA_HOME=/opt/jdk1.6.0_45

export JRE_HOME=/opt/jdk1.6.0_45/jre

export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

3.然后用source /etc/profile来重新执行刚修改的初始化文件(profile)

4.配置默认程序

update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/java 300

update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/javac 300

update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/jar 300

update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/javah 300

update-alternatives --install /usr/bin/java java /opt/jdk1.6.0_45/bin/javap 300

然后执行以下代码选择我安装到jdk版本：

update-alternatives --config java

5.之后就可以用java -version来查看java的版本了

---------------安装eclipse-------------------------------

1.从官网下载java版到eclipse
http://mirror.neu.edu.cn/eclipse/technology/epp/downloads/release/kepler/SR2/eclipse-java-kepler-SR2-linux-gtk.tar.gz
2.解压到/home/simon文件夹下

3.用vi建立shell脚本命名为eclipse

 vi /usr/local/bin/eclipse

内容如下：

/home/simon/eclipse/eclipse

4.为脚本eclipse添加可执行权限： chmod +x /usr/local/bin/eclipse

5.直接输入eclipse来启动它了

---------------安装ant-------------------------------

1.下载ant
http://mirror.esocc.com/apache//ant/binaries/apache-ant-1.9.4-bin.tar.gz
2.解压复制到/home/simon 文件夹下

3.修改/etc/profile 文件

export ANT_HOME=/home/simon/apache-ant-1.9.4

export PATH=$PATH$:$ANT_HOME/bin

4.然后用source /etc/profile来重新执行刚修改

5.输入ant -version验证安装成功

Apache Ant(TM) version 1.9.4 compiled on April 29 2014

---------------安装hadoop-------------------------------

1.修改机器名称，编辑/etc/hostname 修改为localhost

2.配置ssh无密码登录

ssh-keygen -t rsa

cd ~/.ssh

cat id_rsa.pub >> authorized_keys

apt-get install openssh-server

3.如果命令 ssh localhost不成功，则需要启动ssh服务

通过以下命令启动ssh服务

service ssh start

/etc/init.d/ssh start

如果还是启动失败，那就重启吧，管用

3.配置hadoop

（1）编辑conf/hadoop-env.sh，修改JAVA_HOME的值：

export JAVA_HOME=/opt/jdk1.6.0_45

（2）编辑conf/mapred-site.xml，添加内容：

<property>

    <name>mapred.job.tracker</name>

        <value>http://localhost:9001</value>

</property>

(3)编辑conf/hdfs-site.xml，添加内容：

<property>

        <name>dfs.name.dir</name>

        <value>/home/simon/name</value>

</property>

<property>

        <name>dfs.data.dir</name>

        <value>/home/simon/data</value>

</property>

<property>

        <name>dfs.permissions</name>

        <value>false</value>

</property>

<property>

        <name>dfs.replication</name>

        <value>1</value>

</property>

(4)编辑conf/core-site.xml，添加内容：

<property>

        <name>fs.default.name</name>

        <value>hdfs://localhost:9000</value>

</property>

<property>

        <name>hadoop.tmp.dir</name>

        <value>/home/hadoop/hadoop-1.0.0/tmp</value>

</property>

(5)

格式化hdfs： bin/hadoop namenode -format

启动hadoop： bin/start-all.sh

如果显示没有权限，可能是文件无权限，或者文件到用户不是当前用户（root）

可以尝试 chmod +x 文件名

chown root:root bin/*

-------------------配置eclipse插件---------------

1.将hadoop-eclipse-plugin-1.0.0.jar复制到eclipse目录下到plugins文件夹下

2.打开eclipse

window-showview-other... 对话框中选择MapReduce Tools - Map/Reduce Locations

如果对话框中没有，则：%eclispe_dir%/configration/config.ini文件，发现里面有一项org.eclipse.update.reconcile=false配置，改成true后重新进入eclipse

3.在Project Explorer中就可以看到DFS Locations了，如果可以向下点开几个文件夹，说明配置成功

启动eclipse：

env UBUNTU_MENUPROXY= /home/simon/eclipse/eclipse启动eclipse，注意等号和eclipse路径之间有个空格

------------------运行java程序--------------------

1.配置输入输出到路径

在程序中右击--Run As--Run Configurations..--Argument

里填入

hdfs://localhost:9000/test/input hdfs://localhost:9000/test/output

中间用空格间隔，分别为输入输出到路径

2.导入hadoop中到jar包，右击项目--Properties--左边选Java Build Path--右边选Libraries--右边点击Add External JARs...

在hadoop/lib/ 这个路径中选需要到jar包，如果不知道选哪个，那就全选！～（无奈）

3.在程序中右击--Run As--Run on hadoop 运行程序