hadoop如何使用第三方依赖jar包
2015-07-20 23:50
387 查看
在hadoop环境下,我们经常会遇到执行一些脚本,然后却需要临时依赖一些jar包,比如在查看mahout运行结果的时候,如果用hadoop fs -text xxx就会遇到类似的错误信息:java.io.IOException: WritableName can't load class: org.apache.mahout.math.VectorWritable。意思就是当前环境下载classpath中没有对应的类,一般情况下可以如下解决:
1.直接用hadoop的libjars参数加载第三方jar
hadoop fs -libjars /opt/hadoop/mahout-distribution-0.9/mahout-examples-0.9.jar -text /user/mahout/popapp/temp/preparePreferenceMatrix/itemIDIndex/part-r-00000|more
2.在当前环境变量中加入HADOOP_CLASSPATH
HADOOP_CLASSPATH=/opt/hadoop/mahout-distribution-0.9/mahout-examples-0.9.jar
hadoop fs -text /user/mahout/popapp/temp/preparePreferenceMatrix/itemIDIndex/part-r-00000|more
1.直接用hadoop的libjars参数加载第三方jar
hadoop fs -libjars /opt/hadoop/mahout-distribution-0.9/mahout-examples-0.9.jar -text /user/mahout/popapp/temp/preparePreferenceMatrix/itemIDIndex/part-r-00000|more
2.在当前环境变量中加入HADOOP_CLASSPATH
HADOOP_CLASSPATH=/opt/hadoop/mahout-distribution-0.9/mahout-examples-0.9.jar
hadoop fs -text /user/mahout/popapp/temp/preparePreferenceMatrix/itemIDIndex/part-r-00000|more
相关文章推荐
- Linux系统部署项目常用命令(二)
- centos下rsync同步数据
- Linux学习笔记(脚本变量)
- CentOS安装配置Samba
- Linux系统部署项目常用命令(一)
- 分层与架构模式
- 对 Linux 新手非常有用的 20 个命令
- linux openssl加密文件
- linux命令行终端的翻屏滚屏
- Linux的虚拟文件系统
- Journal and work shop on Computer(good url)
- ecshop后台广告列表中增加图片查看功能
- EclipseMars + Maven + SpringMVC + Tomcat7
- LINUX使用DVD光盘或者ISO作为本地YUM源
- Tomcat浅析,下载,安装
- Linux进阶---umask password hostname
- Linux ssh
- 架构师速成4.6-软技能和硬技能
- 架构师速成4.6-软技能和硬技能 分类: 架构师速成 2015-07-20 22:59 241人阅读 评论(0) 收藏
- openCV VS2012环境搭建