您的位置:首页 > 编程语言 > Java开发

如何配置eclipse访问虚拟机进行hadoop编程

2017-07-18 10:33 344 查看
最近研究了一下HADOOP,所以在LINUX上做一些配置后想测试编程,由于之前一直都用eclipse编写JAVA,所以研究了一下如何配置eclipse访问虚拟机进行编程,现将方法共享一下,(注:我用的是hadoop2.7.3,linux用的的是乌班图)


1.配置篇

1.1将hadoop-eclipse-plugin-2.7.3.jar放入D:\eclipse\plugins

1.2将在虚拟机里面配置好的hadoop-2.7.3复制出来放到主机上,比如D:\hadoop2.7.3

然后在eclipse->window->perferences->Hadoop Map/Reduce,右侧选中上面的位置(D:\hadoop2.7.3),

之后eclipse就会出现DFS Location位置

注意1:下载winutils.exe,libwinutils.lib 拷贝到%HADOOP_HOME%\bin目录

注意2:下载hadoop.dll,并拷贝到c:\windows\system32目录中

注意3:将hadoop的环境变量也配置到主机上,与虚拟机上一样

1.3设置与虚拟机的连接

window->Show View->MapReduce Tools->Map/Reduce Locations

在下面的控制台位置,设置连接就可以了

2.编程篇

新建项目后,加入hadoop的jar包(自己在hadoop里面找),下面是实现一个下载

Configuration conf = new Configuration();

FileSystem fileSystem = FileSystem.get(conf);

Path path = new Path(“/test.txt”);//不要用绝对路径hdfs:192.168.18.134:9000/test.txt

FSDataInputStream fsio= fileSystem.open(path);

//System.out.println(fsio.available());//用于测试是否找到文件了

FileOutputStream os = new FileOutputStream(new File("d:/a.txt"));
IOUtils.copy(fsio, os);


以上便是在Windows电脑上用虚拟机装hadoop,eclipse实现编程的操作
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  hadoop java eclipse
相关文章推荐