关于在eclipse中调试mapreduce任务的环境搭建和配置过程
2014-09-03 11:11
477 查看
以下两篇帖子给了我很大的帮助,改天正在好好整理一下所有的思路重新整理
第一篇:http://www.tuicool.com/articles/AjUZrq
第二篇:http://www.linuxidc.com/Linux/2014-04/99858.htm
这里我单独说一下设置mapreduce.application.classpath属性的问题,第二篇文章中说这个属性在yarn-site.xml和mapred-site.xml中应该修改为如下:
<property>
<name>mapreduce.application.classpath</name>
<value>
$HADOOP_CONF_DIR,
$HADOOP_COMMON_HOME/share/hadoop/common/*,
$HADOOP_COMMON_HOME/share/hadoop/common/lib/*,
$HADOOP_HDFS_HOME/share/hadoop/hdfs/*,
$HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/*,
$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*,
$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*,
$HADOOP_YARN_HOME/share/hadoop/yarn/*,
$HADOOP_YARN_HOME/share/hadoop/yarn/lib/*
</value>
</property>
但是我在hadoop的2.2的版本上做过尝试,即使上述的 $HADOOP_YARN_HOME这些之类的变量都设置过了,但是就连wordcount这种程序也还是依然不能运行,即使以hadoop jar这种方式也不行,钟其原因就是会有有一个这个问题,不管怎么样你都不能避免。就是下述的这个问题:
Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
目前我发现把mapreduce.application.classpath中的value的值都修改成绝对路径就可以了(哎!因为这么个简单的问题搞了整整一下午,真是郁闷的不得了),如 $HADOOP_YARN_HOME/share/hadoop/yarn/lib/*写成/opt/hadoop2.2.0/share/hadoop/yarn/lib/*(看网上的很多帖子都是写成这种带环境变量的,以为hadoop能替换环境变量,坑爹啊!!!居然没做替换环境变量的功能,无语~~~~),不知道其他兄弟有没好的解决方案,欢迎拍砖
本文出自 “君子务本” 博客,谢绝转载!
第一篇:http://www.tuicool.com/articles/AjUZrq
第二篇:http://www.linuxidc.com/Linux/2014-04/99858.htm
这里我单独说一下设置mapreduce.application.classpath属性的问题,第二篇文章中说这个属性在yarn-site.xml和mapred-site.xml中应该修改为如下:
<property>
<name>mapreduce.application.classpath</name>
<value>
$HADOOP_CONF_DIR,
$HADOOP_COMMON_HOME/share/hadoop/common/*,
$HADOOP_COMMON_HOME/share/hadoop/common/lib/*,
$HADOOP_HDFS_HOME/share/hadoop/hdfs/*,
$HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/*,
$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*,
$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*,
$HADOOP_YARN_HOME/share/hadoop/yarn/*,
$HADOOP_YARN_HOME/share/hadoop/yarn/lib/*
</value>
</property>
但是我在hadoop的2.2的版本上做过尝试,即使上述的 $HADOOP_YARN_HOME这些之类的变量都设置过了,但是就连wordcount这种程序也还是依然不能运行,即使以hadoop jar这种方式也不行,钟其原因就是会有有一个这个问题,不管怎么样你都不能避免。就是下述的这个问题:
Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
目前我发现把mapreduce.application.classpath中的value的值都修改成绝对路径就可以了(哎!因为这么个简单的问题搞了整整一下午,真是郁闷的不得了),如 $HADOOP_YARN_HOME/share/hadoop/yarn/lib/*写成/opt/hadoop2.2.0/share/hadoop/yarn/lib/*(看网上的很多帖子都是写成这种带环境变量的,以为hadoop能替换环境变量,坑爹啊!!!居然没做替换环境变量的功能,无语~~~~),不知道其他兄弟有没好的解决方案,欢迎拍砖
本文出自 “君子务本” 博客,谢绝转载!
相关文章推荐
- windows下搭建eclipse关于python的开发环境及初始化参数配置
- 关于java Eclipse环境下配置rxtx包的过程
- windows下搭建eclipse关于python的开发环境及初始化参数配置
- Eclipse+MinGW+CDT搭建配置C/C++开发环境全过程(实测有效)
- 搭建Hadoop2.6.0+Eclipse开发调试环境(以及log4j.properties的配置)
- VMWare虚拟机内核驱动调试环境搭建过程记录
- eclipse php 环境及调试配置
- 关于eclipse和myEclipse和Tomact的环境变量的配置
- 关于svn服务器配置和环境搭建
- windows配置JDK+eclipse+tomcat J2EE开发环境的搭建
- Android开发环境搭建:SDK在线离线安装+在Eclipse中配置ADT+第一个Android程序运行
- Cognos8的eclipse调试环境搭建
- 配置ECLIPSE远程调试WEBLOGIC应用的环境
- 关于j2me的环境配置-----------Eclipse
- vim安装,配置与调试环境搭建笔记
- eclipse+pdt下php调试环境的搭建
- JNI调试-环境配置(eclipse3.2+JDK1.4.2+Vc6.0)
- 解决支持WDK环境配置过程中的插件不支持问题和最近调试的问题
- Hadoop + Eclipse环境搭建过程
- VMWare虚拟机内核驱动调试环境搭建过程记录