hadoop中MR执行环境有两种:本地测试环境,服务器环境
2016-11-16 00:00
302 查看
一、本地测试环境
1、在windows下配置hadoop的环境变量2、拷贝debug工具(winutils.ext)到HADOOP_HOME/bin
3、修改hadoop的源码 放到src目录下
4、MR调用的代码需要改变:
a、src不能有服务器的hadoop配置文件
b、在调用是使用:
Configuration config = new Configuration();
config.set("fs.defaultFS", "hdfs://node11:8020");
config.set("yarn.resourcemanager.hostname", "node11");
二、服务器环境:
首先需要在src下放置服务器上的hadoop配置文件1、在本地直接调用,执行过程在服务器上(真正企业运行环境)
a、把MR程序打包(jar),直接放到本地
b、修改hadoop的源码
c、增加一个属性:
config.set("mapred.jar", "C:\\Users\\Administrator\\Desktop\\wc.jar");
d、本地执行main方法调用MR。
如果出现下面这个错误
org.apache.hadoop.security.AccessControlException: Permission denied: user=xxx, access=WRITE, inode="xxx":root:supergroup:rwxr-xr-x
在hadoop集群上执行命令 ./hadoop fs -chmod 777 /tmp/hadoop-yarn/staging/xxx 给对应的用户加权限
2、直接在服务器上,使用命令的方式调用,执行过程也在服务器上
a、把MR程序打包(jar),传送到服务器上
b、通过: hadoop jar jar路径 类的全限定名
三、Hadoop “Name node is in safe mode” 错误解决方法
命令 bin/hadoop dfsadmin -safemode leave相关文章推荐
- MapReduce两种执行环境介绍:本地测试环境,服务器环境
- 大数据 (十一)Hadoop-MR执行环境之---总述+本地测试环境讲解
- MapReduce的两种执行环境:本地测试环境,服务器环境
- 本地测试服务器环境部署 && iis 信息服务管理
- 详述执行map reduce 程序的步骤(本地执行MR、服务器上执行MR)
- 搭建本地hadoop测试环境
- 本地window10环境测试PHP自动执行文件
- MapReduce两种执行环境的搭建和测试
- Hadoop 学习笔记 (八) hadoop2.2.0 测试环境部署 及两种启动方式
- hadoop编程(2)-准备编程和本地测试环境
- hadoop-2.5.2本地测试环境下(利用java多线程模拟),提交MapReduce任务时出现的错误及解决办法
- hadoop本地环境测试搭建(windows)
- 01、本地微信服务器测试环境
- 大数据 (十二)Hadoop-MR执行环境之---定义多个resuce task
- Hadoop2.5.2学习02--MR执行环境的类型
- MR-eclipse本地开发环境搭建&Hadoop学习总结
- 详述执行map reduce 程序的步骤(本地执行MR、服务器上执行MR)
- webservice上传到服务器,“测试窗体只能用于来自本地计算机的请求”问题的解决
- 精通HADOOP(五) - 初识Hadoop - 执行和测试Hadoop样例程序
- 本地虚拟机测试环境模拟