HADOOP的学习笔记 (第三期) eclipse 配置hadoop开发环境
2012-10-21 15:10
681 查看
前两期已经写了一些关于hadoop单机以及分布式的简单配置,下面就要开始写MR程序了。欲善其功必利其器,我们就先完善下工具。还是eclipse,用eclipse配置hadoop的开发
环境。为了这个配置环境我昨天忙了好久,经过不懈努力以及配合百度终于搞定了开发环境。
1.我们首先解压hadoop,我用的版本0.20.205,也正是因为此我付出了巨大的代价。按照一般网上的描述只需要将hadoop-0.20.205.0\contrib\eclipse-plugin copy到eclipse中plugin然后就ok了。其实上事实并非如此,如果有想法的可以尝试下,造成结果就是无限的连接不上,fail to login 或者一系列的缺少jar的的情况,究其原因是hadoop-eclipse-plugin-0.20.205.0.jar这个插件中缺少jar包,如图:此插件的lib中只有
![](http://img.my.csdn.net/uploads/201210/21/1350800649_5153.png)
这两个文件,其实还是缺少了几个,
![](http://img.my.csdn.net/uploads/201210/21/1350801168_8161.png)
这些jar在hadoop的lib中都可以找到,把这些jar包加入在修改mf文件即可。这里只是解释下原因,已经有一个修改好的jar包下载我提供这个即可。连接地址:http://download.csdn.net/detail/kobe_lzq/4670443。将这个jar放入到eclipse的plugin中。
2.打开eclipse。
![](http://img.my.csdn.net/uploads/201210/21/1350801773_6438.png)
点击那个java旁边的小东东,在出来的窗口中选择大象这个Map/Reduce。
3.这个时候细心的童鞋可能会看到左边栏多了一个DFS Locations以及,下面多了一个黄色的大象视图。
![](http://img.my.csdn.net/uploads/201210/21/1350801932_6160.png)
在黄色的大象中点击右键选择
![](http://img.my.csdn.net/uploads/201210/21/1350802015_8320.png)
new Hadoop location 然后出现如下界面
![](http://img.my.csdn.net/uploads/201210/21/1350802096_5574.png)
其中host是你的机器地址,是你hadoop环境的地址,我开了一台虚拟机上面跑着一个单机的hadoop环境,ip就是192.168.0.151至于端口号,应该能看出来就是你在core-site.xml和mapred-site.xml中配置的。user
name就是你的用户,我用的是root用户,所以写的是root。然后再将hadoop.tmp.dir改成你core-site.xml中配置的tmp.dir如图:
![](http://img.my.csdn.net/uploads/201210/21/1350802238_9594.png)
配置完以后点击finish。
4.配置完上述情况以后我们的环境基本就测试好了。左边的DFS Locations下回多出来一个蓝色的大象。下面是你的hdfs信息。如图:
![](http://img.my.csdn.net/uploads/201210/21/1350803534_2847.png)
至此环境基本搭建成功。后即的操作我还没有开始因为昨天光弄这个了。。。
环境。为了这个配置环境我昨天忙了好久,经过不懈努力以及配合百度终于搞定了开发环境。
1.我们首先解压hadoop,我用的版本0.20.205,也正是因为此我付出了巨大的代价。按照一般网上的描述只需要将hadoop-0.20.205.0\contrib\eclipse-plugin copy到eclipse中plugin然后就ok了。其实上事实并非如此,如果有想法的可以尝试下,造成结果就是无限的连接不上,fail to login 或者一系列的缺少jar的的情况,究其原因是hadoop-eclipse-plugin-0.20.205.0.jar这个插件中缺少jar包,如图:此插件的lib中只有
![](http://img.my.csdn.net/uploads/201210/21/1350800649_5153.png)
这两个文件,其实还是缺少了几个,
![](http://img.my.csdn.net/uploads/201210/21/1350801168_8161.png)
这些jar在hadoop的lib中都可以找到,把这些jar包加入在修改mf文件即可。这里只是解释下原因,已经有一个修改好的jar包下载我提供这个即可。连接地址:http://download.csdn.net/detail/kobe_lzq/4670443。将这个jar放入到eclipse的plugin中。
2.打开eclipse。
![](http://img.my.csdn.net/uploads/201210/21/1350801773_6438.png)
点击那个java旁边的小东东,在出来的窗口中选择大象这个Map/Reduce。
3.这个时候细心的童鞋可能会看到左边栏多了一个DFS Locations以及,下面多了一个黄色的大象视图。
![](http://img.my.csdn.net/uploads/201210/21/1350801932_6160.png)
在黄色的大象中点击右键选择
![](http://img.my.csdn.net/uploads/201210/21/1350802015_8320.png)
new Hadoop location 然后出现如下界面
![](http://img.my.csdn.net/uploads/201210/21/1350802096_5574.png)
其中host是你的机器地址,是你hadoop环境的地址,我开了一台虚拟机上面跑着一个单机的hadoop环境,ip就是192.168.0.151至于端口号,应该能看出来就是你在core-site.xml和mapred-site.xml中配置的。user
name就是你的用户,我用的是root用户,所以写的是root。然后再将hadoop.tmp.dir改成你core-site.xml中配置的tmp.dir如图:
![](http://img.my.csdn.net/uploads/201210/21/1350802238_9594.png)
配置完以后点击finish。
4.配置完上述情况以后我们的环境基本就测试好了。左边的DFS Locations下回多出来一个蓝色的大象。下面是你的hdfs信息。如图:
![](http://img.my.csdn.net/uploads/201210/21/1350803534_2847.png)
至此环境基本搭建成功。后即的操作我还没有开始因为昨天光弄这个了。。。
相关文章推荐
- HADOOP的学习笔记 (第三期) eclipse 配置hadoop开发环境 .
- hadoop学习笔记(3)-eclipse下搭建hadoop开发环境各种问题的解决
- Cocos2d-x学习笔记一__开发环境配置(Win7 64+VS2013+Eclipse+Cocos3.4+Python 2.7.9+jdk 1.7.0)
- hadoop学习笔记--4.Ubuntu下Eclipse+hadoop开发配置
- Node学习笔记——eclipse配置nodejs开发环境
- Hadoop学习笔记(4)-Eclipse下搭建Hadoop2.6.4开发环境
- 我的Android学习开发笔记-eclipse环境配置
- Hadoop学习全程记录——eclipse hadoop开发环境配置(2)(修改)
- Hadoop学习笔记1:Hadoop2.7.3分布式部署-Eclipse开发环境部署
- Hadoop学习5--配置本地开发环境(Windows+Eclipse)
- Hadoop学习笔记(4)-Eclipse下搭建Hadoop2.6.4开发环境并写wordcount
- hadoop学习之HDFS(2.1):linux下eclipse中配置hadoop-mapreduce开发环境并运行WordCount.java程序
- Hadoop学习2_Hadoop完全分布式的Eclipse开发环境配置
- Eclipse下hadoop开发调试环境配置笔记
- Windows 下配置 Eclipse 连接 Hadoop 开发环境
- eclipse配置hadoop2.7.2开发环境并本地跑起来
- 学习笔记:java学习第一课 开发工具,环境配置
- MyEclipse安装hadoop-eclipse-plugin,配置本地hadoop开发环境
- eclipse hadoop开发环境配置
- 配置Hadoop开发环境(Eclipse)