您的位置:首页 > 运维架构

hadoop中MR执行环境有两种:本地测试环境,服务器环境

2016-11-16 00:00 302 查看

一、本地测试环境

1、在windows下配置hadoop的环境变量
2、拷贝debug工具(winutils.ext)到HADOOP_HOME/bin
3、修改hadoop的源码 放到src目录下



4、MR调用的代码需要改变:
a、src不能有服务器的hadoop配置文件
b、在调用是使用:
Configuration config = new Configuration();
config.set("fs.defaultFS", "hdfs://node11:8020");
config.set("yarn.resourcemanager.hostname", "node11");

二、服务器环境:

首先需要在src下放置服务器上的hadoop配置文件

1、在本地直接调用,执行过程在服务器上(真正企业运行环境)
a、把MR程序打包(jar),直接放到本地
b、修改hadoop的源码
c、增加一个属性:
config.set("mapred.jar", "C:\\Users\\Administrator\\Desktop\\wc.jar");
d、本地执行main方法调用MR。

如果出现下面这个错误

org.apache.hadoop.security.AccessControlException: Permission denied: user=xxx, access=WRITE, inode="xxx":root:supergroup:rwxr-xr-x

在hadoop集群上执行命令 ./hadoop fs -chmod 777 /tmp/hadoop-yarn/staging/xxx 给对应的用户加权限

2、直接在服务器上,使用命令的方式调用,执行过程也在服务器上
a、把MR程序打包(jar),传送到服务器上
b、通过: hadoop jar jar路径 类的全限定名

三、Hadoop “Name node is in safe mode” 错误解决方法

命令 bin/hadoop dfsadmin -safemode leave
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: