Hadoop实战(6)_搭建Apache Hadoop的Eclipse开发环境
2017-10-30 11:23
531 查看
系列目录:
Hadoop实战(1)_阿里云搭建Hadoop2.x的伪分布式环境
Hadoop实战(2)_虚拟机搭建Hadoop的全分布模式
Hadoop实战(3)_虚拟机搭建CDH的全分布模式
Hadoop实战(4)_Hadoop的集群管理和资源分配
Hadoop实战(5)_Hadoop的运维经验
2、Window-Preferences-Hadoop Map/Reduce选项,指定Hadoop的Home目录(Windows上模拟的Hadoop安装目录,与集群版本一致)。
3、打开Map/Reduce的视图,Window-Perspective-Open Perspective-Other-Map/Reduce。
4、Map/Reduce Locations,连接到HDFS,New Hadoop location,Location name(ApacheHadoop)
5、验证,Project Explorer-DFS Locations-MyHadoop。
测试数据准备,
把官方的WordCount程序拷贝到src目录,右键Run as-Run Configurations-Java Application,指定Arguments输入输出参数,Run。
NullPointerException异常,把
org.apache.hadoop.io.nativeio.NativeIO$Windows.access,权限不满足Linux的要求,修改源代码NativeIO.java里面的内部类Windows的方法access,
Run一下,到HDFS的目录下,查看是否在output目录下生成结果。
微信公众号「数据分析」,分享数据科学家的自我修养,既然遇见,不如一起成长。
Hadoop实战(1)_阿里云搭建Hadoop2.x的伪分布式环境
Hadoop实战(2)_虚拟机搭建Hadoop的全分布模式
Hadoop实战(3)_虚拟机搭建CDH的全分布模式
Hadoop实战(4)_Hadoop的集群管理和资源分配
Hadoop实战(5)_Hadoop的运维经验
Hadoop插件的安装配置
1、hadoop-eclipse-plugin-2.4.1.jar插件放到Eclipse的plugins目录下。
2、Window-Preferences-Hadoop Map/Reduce选项,指定Hadoop的Home目录(Windows上模拟的Hadoop安装目录,与集群版本一致)。
3、打开Map/Reduce的视图,Window-Perspective-Open Perspective-Other-Map/Reduce。
4、Map/Reduce Locations,连接到HDFS,New Hadoop location,Location name(ApacheHadoop)
Map/Reduce(V2) Master | DFS Master |
---|---|
Host:hadoopmaster | Host:hadoopmaster |
Port:9001 | Port:9000 |
Map/Reduce验证
New-Project-Map/Reduce Project,Project Name(WordCount),由于之前已指定Hadoop的Home目录,自动把相关的jar包包含进来了。测试数据准备,
[root@hadoopmaster data]# hdfs dfs -cat /input/data.txt I love Beijing I love China Beijing is the capital of China
把官方的WordCount程序拷贝到src目录,右键Run as-Run Configurations-Java Application,指定Arguments输入输出参数,Run。
hdfs://hadoopmaster:9000/input/data.txt hdfs://hadoopmaster:9000/output
NullPointerException异常,把
%HADOOP_HOME%\bin的hadoop.dll拷贝到
C:\Windows\System32。指定
HADOOP_HOME环境变量,把
HADOOP_HOME下的bin目录加到系统的
PATH路径中。重启Eclipse。
org.apache.hadoop.io.nativeio.NativeIO$Windows.access,权限不满足Linux的要求,修改源代码NativeIO.java里面的内部类Windows的方法access,
retrue true,不进行权限检查。
Run一下,到HDFS的目录下,查看是否在output目录下生成结果。
Beijing 2 China 2 I 2 capital 1 is 1 love 2 of 1 the 1
微信公众号「数据分析」,分享数据科学家的自我修养,既然遇见,不如一起成长。
相关文章推荐
- Eclipse搭建hadoop开发环境[hadoop-eclipse-plugin-2.5.2]
- Hadoop2.5.2+ubuntu14.04+eclispe+hadoop2x-eclipse-plugin-master搭建开发环境
- windows7下的PHP+apache+mysql+eclipse for php 开发环境搭建
- ubuntu12.04下使用Eclipse搭建Hadoop开发环境
- Eclipse下搭建Hadoop开发环境,并运行第一个实例
- (Mac版)Eclipse搭建hadoop集群开发环境
- Eclipse下搭建Hadoop2.4.0开发环境
- Windows下PHP+Eclipse开发环境搭建 及错误解决(apache2.2服务无法启动 发生服务特定错误:1)
- (大数据之hadoop)Hadoop2.2.0版本多节点集群及eclipse开发环境搭建
- hadoop上eclipse开发环境搭建
- eclipse搭建hadoop开发环境
- ubuntu下hadoop+eclipse开发环境的搭建
- Eclipse搭建hadoop开发环境
- hadoop-eclipse开发环境搭建及error: failure to login错误 .
- hadoop eclipse 开发环境搭建
- Eclipse上Hadoop开发环境搭建
- Windows下使用Eclipse工具搭建Hadoop2.6.4开发环境
- windows eclipse hadoop 集群开发环境搭建(分布式模式)
- 在Eclipse下搭建Hadoop开发环境
- Eclipse下搭建Hadoop2.7.0开发环境