Hadoop 7、MapReduce执行环境配置
2016-02-27 22:17
274 查看
MR执行环境有两种:本地测试环境,服务器环境
[b]本地测试环境(windows,用于测试)[/b]
1、下载Winddows版的Hadoop程序,解压后在Hadoop目录的bin目录放置一个winutils.exe可执行文件(下载地址:http://pan.baidu.com/s/1mhrsQyG)
2、在windows下配置hadoop的环境变量
3、拷贝debug工具(winutils.ext)到HADOOP_HOME/bin
3、修改hadoop的源码
将Hadoop org.apachehadoop.io.nativeio.NativeIO.java 和 org.apachehadoop.mapred.YARNRunner.java拷备到项目的src目录下(包路径也不能变)
注意:修改项目JDK,确保项目的lib需要真实安装的jdk的lib,而不是工具自带的JDK
5、MR调用的代码需要改变:
a、src不能有服务器的hadoop配置文件
b、在调用是使用:
在Eclipse中执行 Debug as -> java application;
[b]服务器环境(用于真正企业运行环境)[/b]
1、直接运行Jar包方式,参照:/article/6614942.html
2、在本地直接调用,执行过程在服务器上(真正企业运行环境)
a、把MR程序打包(jar),直接放到本地一个目录,我放在 E:\\jar\\wc.jar
b、修改hadoop的源码
将Hadoop org.apachehadoop.io.nativeio.NativeIO.java 和 org.apachehadoop.mapred.YARNRunner.java拷备到项目的src目录下(包路径也不能变)
注意:修改项目JDK,确保项目的lib需要真实安装的jdk的lib,而不是工具自带的JDK
c、增加一个属性:
d、在Eclipse中执行 Debug as -> java application 。
[b]本地测试环境(windows,用于测试)[/b]
1、下载Winddows版的Hadoop程序,解压后在Hadoop目录的bin目录放置一个winutils.exe可执行文件(下载地址:http://pan.baidu.com/s/1mhrsQyG)
2、在windows下配置hadoop的环境变量
HADOOP_HOME E:\big-data\hadoop-2.5.2\hadoop-2.5.2 Path %HADOOP_HOME%\bin;%HADOOP_HOME%\sbin;
3、拷贝debug工具(winutils.ext)到HADOOP_HOME/bin
3、修改hadoop的源码
将Hadoop org.apachehadoop.io.nativeio.NativeIO.java 和 org.apachehadoop.mapred.YARNRunner.java拷备到项目的src目录下(包路径也不能变)
注意:修改项目JDK,确保项目的lib需要真实安装的jdk的lib,而不是工具自带的JDK
5、MR调用的代码需要改变:
a、src不能有服务器的hadoop配置文件
b、在调用是使用:
Configuration config = new Configuration(); config.set("fs.defaultFS", "hdfs://node7:8020"); config.set("yarn.resourcemanager.hostname", "node7");
在Eclipse中执行 Debug as -> java application;
[b]服务器环境(用于真正企业运行环境)[/b]
1、直接运行Jar包方式,参照:/article/6614942.html
2、在本地直接调用,执行过程在服务器上(真正企业运行环境)
a、把MR程序打包(jar),直接放到本地一个目录,我放在 E:\\jar\\wc.jar
b、修改hadoop的源码
将Hadoop org.apachehadoop.io.nativeio.NativeIO.java 和 org.apachehadoop.mapred.YARNRunner.java拷备到项目的src目录下(包路径也不能变)
注意:修改项目JDK,确保项目的lib需要真实安装的jdk的lib,而不是工具自带的JDK
c、增加一个属性:
Configuration config =new Configuration(); config.set("mapred.jar", "E:\\jar\\wc.jar");
d、在Eclipse中执行 Debug as -> java application 。
相关文章推荐
- 基于反射的动态调用-不止是code和oop,还有类加载方案
- Linux实用操作命令(不断更新)
- linux常用命令
- linux c 代码测试之内存越界及内存泄露
- 从源码看Handler和Looper
- OpenGL ES纹理映射坐标对应
- linux(ubuntu)hadoop系统迁移或使用新主机产生问题
- linux c 编程模板总结(一)
- python结合shell查询google关键词排名的实现代码
- linux内核分析 第一周
- Hadoop 6、第一个mapreduce程序 WordCount
- Linux Is Not Matrix——使用域名访问局域网网站
- linux(ubuntu)mysql自动安装
- 监控知识点概述
- Apache的工作模式prefork、worker、event
- Varnish配置文件详解(架构师之路)
- 如何分析业务问题
- Linux SSH安全策略限制IP登录方法(转)
- opencv保存avi视频
- shell编程练习002(20160227)