Hadoop MapReduce程序中解决第三方jar包问题--终极解决方案
2013-01-22 16:25
344 查看
原文地址:http://blog.csdn.net/lazythinker/article/details/7244609,经过我测试确实有效,感谢作者。
在项目中碰到了MapReduce任务中需要引入第三方jar包的问题;
一、现象
报一堆类似异常【Error: java.lang.ClassNotFoundException:***】。
二、解决方案
随手一搜网上倒是不少解决方案,我选择两个典型方案,其它方案自行查找:
(1) 将依赖的第三方jar放在集群中每个节点$HADOOP_HOME/lib目录下或者JDK的ext目录下,其中$HAOOP_HOME为Hadoop的根目录。
(2) 将所有的jar包解压缩,然后把他和源程序的类文件打包到一个jar包中。
第一种基本满足我的要求,可以一试,第二种方法不易于维护舍弃。
三、测试
1、 把依赖的jar包放入集群中每个节点$HADOOP_HOME/lib目录下;
2、重新执行job,依然报错,崩溃。。。,难道要重启hadoop集群?以后要是任务多了更改一些公用jar还要重启接受不了;
3、查看hadoop,发现确实是加载了lib中的jar包,如下所示:
# add libs to CLASSPATH
for f in $HADOOP_HOME/lib/*.jar; do
CLASSPATH=${CLASSPATH}:$f;
done
4、可能是自己愚笨或者环境问题,反正继续查找原因未果,放弃;
四、重新查找解决方案
1、发现一个不错的解决方案:http://algoarch.iteye.com/blog/1142681
2、英文地址:http://www.blowide.com/2010/04/including-external-jars-in-a-hadoop-job/
3、可问题来了,里面描述的lib目录建在哪里?执行时到底怎么调用的呀?
4、记得《Hadoop权威指南》中好像也有关于jar打包的处理措施,查找之
【任何非独立的JAR文件都必须打包到JAR文件的lib目录中。(这与Java的web application archive或WAR文件类似,不同的是,后者的JAR文件放在WEB-INF/lib子目录下的WAR文件中)】,天哪,看书不仔细就会遗留重要问题,网上的都是浮云呀。打包的时候把第三方包放到lib目录下和class文件一块打包即可。
5、按要求重新打包,执行,OK了。
在项目中碰到了MapReduce任务中需要引入第三方jar包的问题;
一、现象
报一堆类似异常【Error: java.lang.ClassNotFoundException:***】。
二、解决方案
随手一搜网上倒是不少解决方案,我选择两个典型方案,其它方案自行查找:
(1) 将依赖的第三方jar放在集群中每个节点$HADOOP_HOME/lib目录下或者JDK的ext目录下,其中$HAOOP_HOME为Hadoop的根目录。
(2) 将所有的jar包解压缩,然后把他和源程序的类文件打包到一个jar包中。
第一种基本满足我的要求,可以一试,第二种方法不易于维护舍弃。
三、测试
1、 把依赖的jar包放入集群中每个节点$HADOOP_HOME/lib目录下;
2、重新执行job,依然报错,崩溃。。。,难道要重启hadoop集群?以后要是任务多了更改一些公用jar还要重启接受不了;
3、查看hadoop,发现确实是加载了lib中的jar包,如下所示:
# add libs to CLASSPATH
for f in $HADOOP_HOME/lib/*.jar; do
CLASSPATH=${CLASSPATH}:$f;
done
4、可能是自己愚笨或者环境问题,反正继续查找原因未果,放弃;
四、重新查找解决方案
1、发现一个不错的解决方案:http://algoarch.iteye.com/blog/1142681
2、英文地址:http://www.blowide.com/2010/04/including-external-jars-in-a-hadoop-job/
3、可问题来了,里面描述的lib目录建在哪里?执行时到底怎么调用的呀?
4、记得《Hadoop权威指南》中好像也有关于jar打包的处理措施,查找之
【任何非独立的JAR文件都必须打包到JAR文件的lib目录中。(这与Java的web application archive或WAR文件类似,不同的是,后者的JAR文件放在WEB-INF/lib子目录下的WAR文件中)】,天哪,看书不仔细就会遗留重要问题,网上的都是浮云呀。打包的时候把第三方包放到lib目录下和class文件一块打包即可。
5、按要求重新打包,执行,OK了。
相关文章推荐
- Hadoop MapReduce程序中解决第三方jar包问题--终极解决方案
- Hadoop MapReduce程序中解决第三方jar包问题--终极解决方案
- Hadoop MapReduce程序中解决第三方jar包问题方案
- hadoop MapReduce程序中解决第三方jar包问题
- 解决Hadoop运行jar包时MapReduce任务启动前OutOfMemoryError:Java heap space问题
- Mapreduce从HBASE抽取数据,生成搜索下拉服务数据,hadoop jar 调用异常问题解决
- hadoop2.2.0 自带jar 包和 MR程序所使用的第三方包冲突 解决
- 使用Python实现Hadoop MapReduce程序遇到的问题解决办法
- 浏览器模式调整-网站显示问题根本解决方案(Winform和CMD程序解决)
- MySQL字符集中文乱码终极解决方案和mysql查询中文问题解决方法[转贴]
- swing程序,避免程序达成JAR包无法访问image等资源问题的解决办法
- 运行hadoop MapReduce程序常见错误及解决方法整理
- weblogic 12c下使用hadoop时jar包冲突的两个问题的解决办法
- Android将Activity打成jar包供第三方调用(解决资源文件不能打包的问题)(转)
- Hadoop 中文编码相关问题 -- mapreduce程序处理GBK编码数据并输出GBK编码数据
- springboot解决第三方依赖jar包的问题
- Hadoop 中文编码相关问题 -- mapreduce程序处理GBK编码数据并输出GBK编码数据
- druid.io 集成 hadoop 问题解决 /hdp/apps/${hdp.version}/mapreduce/mapreduce.tar.gz#mr-framework
- spark程序对hadoop环境的依赖,导致checkpoint失败问题的解决
- 解决jar程序日志文件输出到和jar程序同级目录问题