如何配置eclipse访问虚拟机进行hadoop编程
2017-07-18 10:33
344 查看
最近研究了一下HADOOP,所以在LINUX上做一些配置后想测试编程,由于之前一直都用eclipse编写JAVA,所以研究了一下如何配置eclipse访问虚拟机进行编程,现将方法共享一下,(注:我用的是hadoop2.7.3,linux用的的是乌班图)
1.配置篇
1.1将hadoop-eclipse-plugin-2.7.3.jar放入D:\eclipse\plugins
1.2将在虚拟机里面配置好的hadoop-2.7.3复制出来放到主机上,比如D:\hadoop2.7.3
然后在eclipse->window->perferences->Hadoop Map/Reduce,右侧选中上面的位置(D:\hadoop2.7.3),
之后eclipse就会出现DFS Location位置
注意1:下载winutils.exe,libwinutils.lib 拷贝到%HADOOP_HOME%\bin目录
注意2:下载hadoop.dll,并拷贝到c:\windows\system32目录中
注意3:将hadoop的环境变量也配置到主机上,与虚拟机上一样
1.3设置与虚拟机的连接
window->Show View->MapReduce Tools->Map/Reduce Locations
在下面的控制台位置,设置连接就可以了
2.编程篇
新建项目后,加入hadoop的jar包(自己在hadoop里面找),下面是实现一个下载
Configuration conf = new Configuration();
FileSystem fileSystem = FileSystem.get(conf);
Path path = new Path(“/test.txt”);//不要用绝对路径hdfs:192.168.18.134:9000/test.txt
FSDataInputStream fsio= fileSystem.open(path);
//System.out.println(fsio.available());//用于测试是否找到文件了
FileOutputStream os = new FileOutputStream(new File("d:/a.txt")); IOUtils.copy(fsio, os);
以上便是在Windows电脑上用虚拟机装hadoop,eclipse实现编程的操作
相关文章推荐
- CloudStack如何进行RDP(远程桌面)访问,如何登陆系统虚拟机
- win7中的eclipse连接虚拟机中Linux(Ubuntu)的Hadoop (附上配置时遇到的错误和解决的方法)
- windows下eclipse开发hadoop连接虚拟机linux配置的问题
- win7下hadoop编程eclipse的配置
- 通过win下的eclipse连接虚拟机中伪分布的hadoop进行调试
- 怎么将一个用eclipse做好的项目部署到虚拟机tomacat上去----然后用浏览器直接进行访问!!!
- hadoop的配置以及Eclipse编程
- 文件访问权限详解(eclipse和studio如何访问虚拟机内部的存储内容)
- Windows下的Eclipse访问虚拟机的Hadoop的一些注意事项
- 通过tarball形式安装HBASE Cluster(CDH5.0.2)——Hadoop NameNode HA 切换引起的Hbase错误,以及Hbase如何基于NameNode的HA进行配置
- 本地Eclipse访问虚拟机Hadoop需要注意的几点
- windows上使用eclipse远程连接hadoop进行程序开发没有权限访问问题
- 简明Hadoop配置(3)——windows下eclipse连接虚拟机
- 主机iis配置了站点域名,虚拟机如何访问主机站点
- 如何在windows上使用eclipse远程连接hadoop进行程序开发
- 虚拟机中如何进行正确的网络配置
- 在Ubuntu Linux下面使用Eclipse进行Java编程的安装配置
- 配置Oracle VM VirtualBox,实现内外网访问笔记,以进行spark、hadoop集群开发测试
- Hadoop学习笔记(九):如何在windows上使用eclipse远程连接hadoop进行程序开发
- windows下eclipse开发hadoop连接虚拟机linux配置的问题